让视觉目标跟踪在移动端起飞(三)
视觉目标跟踪在移动端的发展一直是算法工程师关注的热点。在移动端领域，性能与功耗的平衡始终是设计跟踪算法时需要面对的关键问题。本文将探讨如何构建一个既高效又适合移动端使用的视觉目标跟踪算法。
首先，回顾过去，KCF算法因其高效和成本效益，成为了许多跟踪任务的首选。然而，随着ConvNet的普及，端到端训练的跟踪器性能显著提升，但同时也带来了计算资源消耗增加的问题。面对这样的挑战，我们提出了一种折衷策略：结合TransT的简洁性和LightTrack的轻量化特性，设计适合移动端的跟踪器。
在分析和研究TransT和LightTrack后，我们确定了跟踪器设计的几个关键方向：融合和交互特征。在设计过程中，我们选择使用Correlation作为主要的特征交互方式，因为它在保持速度的同时，也能够满足移动端部署的需求。
针对DW-XCorr的部署问题，我们提出了一个简单且高效的解决方案。通常，DW-XCorr会被视为一个需要特殊层实现的复杂操作，但实际上，它本质上是一个深度分离卷积（DWConv）。通过这一发现，我们不仅解决了部署问题，还能够在不减小特征图空间维度的同时，实现更多的DW-XCorr层，以满足不同任务的需求。
在选择backbone时，我们关注了速度和预训练性能的重要性。根据目标硬件（如ANE和CPU），我们选择了适合的模型，如MultiMax和MultiMax-0.5。这些模型在保持性能的同时，兼顾了计算效率，适配了移动端的应用场景。
设计头部分时，我们围绕offline和anchor-free的框架进行，简化了结构，使得算法更加灵活高效。在训练集选择上，我们参考了TransT的配置，同时考虑到TrainingNet标注数据的特殊性，通过合理采样人工标注帧的结果，确保训练数据的质量。
在模型训练完成后，我们进行了综合评估，结果显示，基于MultiMax的模型（Our-normal）和基于MultiMax-0.5的模型（Our-light）在性能和参数量之间取得了良好的平衡。移动端应用中，我们的模型能够实现实时跟踪，满足了对速度和功耗的严格要求。
此外，我们还提供了一些实测结果，包括LaSOT、GOT-10k、TrackingNet等测试集上的表现，以及在不同移动端设备上的速度测试。这些结果证明了所设计跟踪器在实际应用中的可行性和高效性。
最后，我们强调了开源代码的潜力，如果关注度和参与度足够高，我们将考虑提供训练和部署代码的开源版本。同时，我们也在视觉算法组招聘人才，欢迎对端侧优化、GAN、分割、智能剪辑、3D视觉等领域感兴趣的应届毕业生和经验丰富的专家加入。
多重随机标签