剪辑视频与编辑文本一样简单，斯坦福推出新算法

编译：千鸟

图灵联邦编辑部出品

在电视和电影中，演员经常会有一些小瑕疵的表演，比如遗漏一句台词中的关键词等。对于后期剪辑来说，解决方案只能是接受这些缺陷或者重录一遍，后者意味着代价高昂。

想象一下，如果有编辑器可使用文字记录修改视频，与修改文字类似，是不是很神奇。在编辑器中，编辑可轻松地添加新单词，删除不需要的单词或根据需要通过拖拽来重新排列它们，以便拼接成完整的视频。

当地时间6月5日，斯坦福官方博客介绍了来自斯坦福大学，马克斯普朗克信息学研究所，普林斯顿大学和Adobe Research的研究团队创建的一种编辑有声视频的算法 —视频从头开始就显示扬声器。

该研究团队成员表示，这项工作对视频后期剪辑和制片人来说可能是一个福音。随着人们越来越质疑图像和在线视频的有效性，编辑有声视频的算法确实引人关注。不过他们提出了一些使用这些工具的指南，这些工具会提醒观众和表演者视频已被操纵。

斯坦福大学的博士后学者奥哈德·弗里德说：“不幸的是，像这样的技术总会吸引不好的演员。” “但考虑到许多有创意的视频编辑和内容创建应用程序，这种斗争是值得的。”

能够读懂嘴唇

新的算法能够从各种视频片段中提取语音运动，而后利用机器学习将这些视频转换为观看者看似自然的视频 — 唇形同步。

“在视觉上，它是无缝的。没有必要重新记录任何内容。”奥哈德说。他是论文《基于文本的有声视频编辑》的作者，该论文将出现在ACM Transactions on Graphics期刊上。两年前，奥哈德在普林斯顿大学与计算机科学家亚当·芬克尔斯坦一同开始了这项研究。

如果演员或者表演者出现漏台词，或说错了词的情况，编辑可简单地编辑记录副本。算法可从视频中其它地方补充正确的单词。这相当于重写视频，就像作家写一个拼错或不合适的单词。该算法需要至少20分钟的原始视频作为输入，因此它不能应用于其它视频。

在编辑记录副本时，算法从录制视频中的其它地方选择具有可以拼接以产生新材料的动作片段。在他们的原始形式中，这些视频片段会有不合时宜的跳跃和其它视觉缺陷。

为了使视频看起来更自然，该算法将智能平滑应用于运动参数并呈现所需结果的3D动画版本。不过，渲染的画面仍远非现实。最后一步，称为神经渲染的机器学习技术将低保真数字模型转换为完美唇形同步的逼真视频。

为了测试他们系统的功能，研究人员进行了一系列复杂的编辑，包括添加，删除和更改单词，以及翻译成不同的语言，甚至创建完整的句子。

在一项有138名参与者的众包研究中，该团队的编辑在几乎60％的时间内被评为“真实”。视觉质量非常接近原始，但奥哈德表示还有很大的改进空间。

“这将对电影后期制作产生很大的影响，” 马克斯普朗克信息学研究所的学生Ayush Tewari说道视频怎么剪辑上下一样的，“它首次提出了在没有重新拍摄的情况下修复拍摄对话的可能性。”

潜在的道德问题

在合成虚假视频泛滥的时代，这种能力引发了重要的道德问题，奥哈德补充道。想要以这种方式编辑视频需要有非常有价值和合理的理由，即在视频内容中重新记录或修复这些缺陷所需的费用，或由观众定制现有的视频内容。例如，教学视频可以根据不同语言或文化背景进行微调，或者儿童故事可以适应不同年龄段。

“这项技术真的能帮助更好地讲故事，”奥哈德说。

奥哈德承认担心这种技术可能被用于非法目的，但他说这种风险值得一试。照片编辑软件经历了类似的演化，但最终，人们希望生活在可以使用照片编辑软件的世界中。

作为补救措施，奥哈德说有几种选择。一种是开发某种选择加入水印，以识别已编辑的任何内容并提供编辑的完整分类帐。此外，研究人员可以开发更好的取证，如数字或非数字指纹识别技术视频怎么剪辑上下一样的，以确定视频是否被用于不可告人的目的。

事实上，这项研究和其他类似的研究也提供了基本方法，以便开发更好的手段检测视频编辑片段。

奥哈德说，所有解决方案都无法解决所有问题，因此观众必须保持怀疑态度和谨慎态度。此外，他补充说，已经有很多其他方法可以更轻松地操作视频。他说，也许最紧迫的问题是提高公众对视频操纵的认识和教育，因此人们可以更好地质疑和评估合成内容的真实性。

论文传送门：《基于文本的有声视频编辑》：