很多可以在（毫秒）秒内改变。 慢动作视频通常是精确关键时刻的仲裁者，例如，足球越过球门或赛车冲过终点线。 它可以帮助航空航天和无人机工程师更好地了解昆虫、蝴蝶和蜂鸟快速扇动的翅膀，并有可能模仿它们的动作。

无论是在体育时刻、自然纪录片还是动物行为研究中，加州大学圣地亚哥分校计算机科学家开发的一项新技术都可能产生深远的影响。 为了消除慢动作，他们在一种称为视频帧插值的视频处理技术上开辟了新天地——一种在现有帧之间以数字方式“夹入”额外动画帧的方法，同时消除任何模糊以实现流畅影响。

这个过程——它解释了背后的大部分电影科学，例如，假的慢动作效果——在历史上是通过手工设计的、计算量大的视频处理模块来完成的，比如流变形，它将输入图像变形为 所需的框架。

但是，视频并不总是可预测的，因为运动模式并不总是线性的。 例如，由于视频帧必须跟上用户在虚拟现实环境中的移动，因此彼此相邻的帧基本上可能会滑开，从而导致所谓的遮挡。 遮挡导致虚拟现实幻觉的“中断”——视觉故障破坏了存在于虚拟世界中的效果。

使用 FLAVR 框架可以更好地捕捉网球或其他运动的关键时刻。

为了克服这些限制，由计算机科学与工程 (CSE) 副教授 Manmohan Chandraker 领导的计算机科学家提出了一种新的视频帧插值框架，称为 FLAVR，即用于快速帧插值的与流无关的视频表示。 这种端到端的可训练软件架构使用 3D 时空卷积——一种机器学习方法，可以学习推理视频中的非线性运动并防止任何时空故障。

这项工作是与 CSE 博士生和第一作者 Tarun Kalluri 以及来自 Meta AI（前身为 Facebook AI Research）的研究科学家 Du Tran 和 Deepak Pathak 合作完成的。

最佳速度与准确性权衡

“我们的工作在视频帧插值方面开辟了新天地，其中我们取消了大部分手工设计的、计算量大的模块，如流扭曲，并为此目的使用了一个完整的端到端可训练和可部署架构——因此 ，我们在运行时间、输出质量以及在硬件上部署的便利性方面取得了巨大的进步，”Kalluri 说。

他们发表的结果被选为 2023 年冬季计算机视觉应用会议的最佳论文入围者，与当前最先进的方法相比，多帧插值的速度提高了六倍。 结果证明了最佳的速度与精度权衡，即使不需要额外的视觉数据（例如光流率或深度图）也是如此。 FLAVR 还可用于将慢动作滤镜应用于实时捕获的视频。

Chandraker 表示，与 Vimeo-90K、Adobe-240FPS 和 GoPro 等流行基准测试的先前方法相比，该团队“始终如一地展示出卓越的定性和定量结果”。

“最重要的是，与以相同速度运行的架构相比，FLAVR 提高了 14%，与提供相同精度的方法相比，速度提高了 6 倍，从而实现了最佳的速度与精度权衡，”他说。

飞行中的昆虫和鸟类、赛车等

FLAVR 的潜在应用包括体育分析（回放、视频辅助推荐、玩家分析等）、游戏和动画（以更便宜的成本生成每秒高帧数的图形）或美学改进视频（例如添加慢动作 过滤实时从手机捕获的视频）。

例如，在体育比赛和广播中，这种超慢动作可能会影响围绕“帧间”发生的模糊事件做出的关键决策，例如板球击球手在完成跑步时伸入折痕内。 FLAVR 还可以提高广播的视觉质量，例如在射击或射箭中可视化快速射弹，或在赛车中可视化瞬间运动。

FLAVR 的另一个应用已经在动物研究领域得到证实。 Chandraker 和他的同事使用该技术处理由北卡罗来纳州立大学助理研究教授 Adrian Smith 提供的昆虫飞行运动视频。 由此产生的项目视频展示了 FLAVR 创建慢动作飞行模式的能力，即使在 960FPS 的极端速率下也是如此。

注：本文由院校官方新闻直译，仅供参考，不代表指南者留学态度观点。