智能飞行器技术专业是什么（养分｜“智能”飞行家——航拍的未来）
最近，红牛联合大疆拍摄了一条超高难度的越野摩托车动作片，由无人机飞手Johnny Schaer操控高性能的无人机搭载大疆Osmo Action运动相机，配合FPV实时高清图像传输系统对顶级越野摩托车手Johnny Bereman的流畅表演进行实时拍摄。全程五分半钟的视频完全是一镜到底！视觉冲击可谓十分强烈。此次拍摄所用到的是FPV无人机，FPV是First Person View（第一人称视角）的缩写，它是一种竞速用无人机，主打灵活、速度和反应的拍摄模式，它的传输系统延迟率低且图像显示十分清晰，很适合拍摄快速、刺激的极限运动。所配备的Osmo Action运动相机有着先进的电子图像稳定器，可以将摇晃的镜头变得稳定，使画面看起来更加流畅。
Johnny头戴FPV眼镜接收实时传输视频
携带Osmo 运动相机的无人机
无人机遥控手柄据Johnny回忆，影片的拍摄角度参考了一些FPV飞手的作品以及相关的艺术形式，比如摄影作品。跟踪全程的录制大概进行了8到10次，在拍摄的间隙，他会进行回放和新的路径计算，以达到更好的拍摄效果。
无人机跟拍中5分钟完整版本请戳： 关闭观看更多更多正在加载正在加载退出全屏视频加载失败，请刷新页面再试
刷新 视频详情 无人机使人类的观看脱离了身体，飞上了天空，以新的视角俯瞰这个世界。近年来，其凭借着成本低、操作方便、活动范围广等先天优势，快速成为了电影拍摄的热门配置之一，为电影镜头语言带来了新的可能。
上帝视角拍摄是无人机最常规的操作。下图中的俯拍提供了更全面的视野，赛车速度与冲击力透过扬起的尘土一目了然。
电影《乘风破浪》截图无人机体型小巧，可以进入人类无法到达或常规大型拍摄机器无法架设的空间，拍摄到有趣的角度。
大疆“悟”协助《网络寻凶》第二季拍摄幕后：无人机在狭窄的天井楼场景中进行拍摄无人机飞手可以将飞行与手持相结合，完成长镜头拍摄。
无人机影片《The Circle》拍摄过程与成片片段对照（上图的这种拍摄角度需要飞行结合手持，是因为目前的无人机还不能完成离人脸十分近距离的拍摄，首先考虑到安全问题，人为控制的飞行不会十分精准，可能会造成飞机晃动，误伤演员。其次考虑演员的动态，比如头部的扭动会干扰摄影机运动的计算、影响摄影机的跟踪。）或可将航拍与特效剪接起来，营造“空间穿越”的假象。
以上为示意图，来自《美少女特攻队》也可将航拍与特效结合，创造视觉奇观。
张艺谋的《影》中部分镜头就采用了无人机航拍技术，大疆技术团队研发了三维航线规划功能，通过三维地形图对无人机进行各种航行模拟，确保了拍摄的顺利完成。张艺谋看到了无人机的潜力，表示希望能在未来某一天完成一部只使用无人机拍摄的电影，达到“无人机跟着演员走位，丝毫不差。焦点自动跟，准确至极”的状态。目前的无人机航拍处于一种半自动模式，大多结合飞手遥控、航线规划、自动悬停避障来运行。这种人工操作具有一定的不可控性，安全性、精准度都有待提升。要达成一个完美的镜头，最优秀的飞手也需要多次的演练、调整路径。若是无人机自己会“思考”，能够自主进行路径规划、调整，那境况将会大有不同。实际上，现在的无人机技术正朝着这样的方向发展——变得更加“智能聪明”。就拍摄这点来说，所谓 “跟随走位、自动变焦”，其实基础都是无人机的跟随问题，即对主体物的跟踪拍摄，这是无人机航拍的一项重要工作。无人机的“跟拍”问题解决方案经历了从GPS点对点跟踪、视觉和超声波定位技术，目前转向了计算机视觉领域的视觉跟踪技术研究。这种视觉目标跟踪注重计算机算法的运用，技术难度较高，只有少数公司能够实现，如德国公司Ascending研发的搭载英特尔RealSense 3D摄像头的无人机自动驾驶技术和国内零度智控研发的Follow snap视觉跟踪技术。原理主要是无人机通过摄像头对周围环境进行搜集，根据算法和实时数据判断识别目标的特征，从而进行目标跟踪。只要告知无人机拍摄主体，其就可以自主寻找目标和角度进行拍摄，自动完成跟踪拍摄任务。这种技术无需特定的GPS信号，且定位、精度相对较高，飞行器可以在无人操控的前提下自主进行跟踪拍摄，与拍摄主体进行交互。在这种智能跟踪技术的基础上，可以有这样一种设想，对于连续画面的拍摄，比如一镜到底，也可以分段拍摄再进行组接了！只要上个镜头结束时航拍机器的角度位置与下一个镜头重合，就能够进行完美的衔接，目前来说靠人为控制很难达成，但有了智能的目标跟踪功能，便可以保证定位的精准性。有了这个技术作为基点，我们可以想象这样一个灵活的场面调度：白天的战争场景，无人机环绕跟拍一架空中侦察机，模拟侦察机主观镜头对地上远景进行拍摄。无人机与侦察机拉开一段距离，随着一声巨响，侦察机被地面发射的防空弹击落，镜头跟随其中一枚炸开来坠落到地面的碎片。碎片被坦克履带碾过，无人机升空拍摄地面战争全景，在枪林弹雨中锁定狙击手a并跟拍，a在人群中穿行至一壕沟倚靠喝水，他的面部满是炮灰污泥，无人机飞近对焦a疲倦的双眼，周围轰鸣的炮火声渐隐，进入到a的主观世界，镜头拉远，场景变换到午后的乡间……虽然按照电影的设计原则来说，影片的最终呈现都应在规划之内，但就摄影来说，如果无人机的跟拍达到非常智能的程度，是不是可以在一定程度上“放任”无人机与演员进行交互？这样可能会得到意料之外的镜头。除此之外，智能航拍所带来的拍摄手法的全新探索也是值得期待的。 
对运动物体进行时空追踪是理解动态视觉世界的基础，这种视觉跟踪技术在视频与现实世界的交互中有很多应用，除了上文所说的无人机跟拍，还应用于汽车无人驾驶、视频监控、人机交互等领域。一般来说视觉目标跟踪包括三个阶段：首先要在视频帧中估测目标主体的位置，生成“候选框”；接着对目标主体的特征进行提取，锁定目标；最后在当前帧中找到目标主体，进行匹配，形成跟踪结果。目标跟踪算法目前主要分为两大类：生成式和判别式。生成式方法主要是对当前帧的目标区域进行建模，然后在下一帧寻找与建模最相似的区域作为预测位置，不考虑背景信息的应用。运用这种算法的有卡尔曼滤波、粒子滤波等。判别式方法则同时提取目标区域和背景信息来训练分类器，在下一帧中用训练好的分类器寻找最优区域，由于考虑了背景和前景的区分，结果往往优于生成类方法，相比之下应用也更广。 为了提高目标跟踪的性能，研究人员做了许多尝试。David S. Bolme等人曾提出一种基于判别器的最小输出均方误差滤波算法（MOSSE）来实现快速跟踪，跟踪器的性能得到显著提高。在Siamese-FC算法中，作者通过以提前离线训练好的深度卷积网络作为函数，在跟踪时实时计算出结果的方法提升了实时跟踪的精确性。最近，文章《视觉目标跟踪中的运动预测》提出了一种视觉目标跟踪的新方法，相比于一些基于计算成本更高的特征提取器开发的精确系统来说，这项研究更多地强调了运动预测在视觉目标跟踪中的重要性。下图是这项研究的主要框架：第一步：解耦相机运动和物体运动；视频中的物体运动是摄影机运动和物体运动的叠加，当相机的随机晃动或物体移动方向突然变化时，预测物体的运动结果会不稳定，给图像解藕可以减轻这种情况；第二步：预测目标在未来帧中的状态，并创建一个自适应搜索区域供探测器处理；搜索区域以预测目标位置为中心，根据预测的速度和目标尺寸进行修正；第三步：将预测的状态和搜索区域投影回摄像机坐标；第四步：根据现有的对象检测器的测量结果更新对象状态。
通过加入运动预测，可以提高跟踪的抗干扰和遮挡能力，下图第一行显示的是目前最先进的跟踪器SiamMask结果(红色)和标准结果(绿色)，第二行显示了新方法的运动预测(黑色箭头)和跟踪结果(使用蓝色边框和红色分割掩模)。可以看到新方法在遇到遮挡情况表现良好，而SiamMask的跟踪出现偏移。
即使在物体运动速度较高的情况下，方法模型中所采用的目标预测也能够提供比较准确的结果。下图显示了位置预测的对比结果（红点代表这一方法的预测结果，黄色代表基线结果，蓝色代表标准结果），可以看到目标预测的结果已经超过基线，接近标准结果。
相机运动与物体运动解耦的加入，使得跟踪结果在相机抖动的情况下仍然可以保持稳定。下图是运动预测方法与性能优越的孪生网络SiamRPN++的对比结果（绿框代表标准结果，蓝框代表方法的结果，红框代表SiamRPN++的结果）。第一行中的汽车场景中，当摄像机抖动时，SiamRPN+的搜索区域中心会移到跟踪汽车的左侧，最终捕获到卡车上。相反，由于新模型考虑了摄像机的运动，搜索区域的中心可以始终保持在跟踪汽车上。另一个例子是下图第二行的博尔特。当博尔特加速运动的时候，SiamRPN++很容易被其他选手干扰，但运动跟踪方法的模型没有失败，对博尔特跑步速度的估计使其能够保持稳定的跟踪。 总结来说，文中这种结合运动预测和基于外观跟踪器的跟踪方法在剧烈的摄影机运动、快速的物体运动和遮挡下仍可以保持其良好的性能。通过准确预测目标位置，模型可以聚焦于更有针对性的搜索区域，从而获得更好的检测和分割结果。运动信息在视觉目标跟踪中的作用不容小觑。视觉目标跟踪技术的不断升级会给计算机与现实世界的交互带来新的可能，这种影响是方方面面的。比如上文提到的影视拍摄，有了自动跟随航拍技术的加入，不再需要架设笨重轨道、吊臂，便可完成高远镜头的拍摄，对于复杂的调度、难找的机位，也可以轻松应对。再试想身处一个沉浸式的交互剧场，系统对观众进行跟踪，场景灯光随观众的移动发生变化，剧情以点对点的方式展开，以跟随的方式自由地延展，整个表演空间构成一个动态的整体。又或者走入博物馆中，一个全自动移动的机器人讲解员跟随你的脚步，对你感兴趣的藏品进行灵活的讲解。再比如篮球场上，计算机对每一个球员进行跟踪，统计他们的防守位置、投篮命中率、跑动距离等数据，分析球员价值。随着视觉目标跟踪技术的不断发展，这些想法在不久的将来都会实现，让我们拭目以待吧！相关论文：Wang, J., & He, Y. (2020). Motion Prediction in Visual Object Tracking. ArXiv, abs/2007.01120.版式设计：韩碧电影（电视）虚拟空间设计专业自2006年建立以来，以新技术变革下的电影为核心，拓展到未来视听形态和叙事表达的艺术与科技前沿，强调观念和视野的前瞻性，注重以多学科思维和手段实现艺术创新的聚合能力，为业界培养的本科生和研究生，获得众多国际重要奖项。 
