眼界大开 声临其境丨眭世晨：影像技术在短视频创作工具中的应用

导 读

8月3日至4日，“眼界大开 声临其境”网易首届音视频技术大会成功召开。来自网易云音乐资深视频算法工程师眭世晨带来了主题为《影像技术在短视频创作工具中的应用》的精彩分享，网易智企整理内容如下。（点击文末阅读原文回顾视频）

讲师简介：眭世晨，网易云音乐资深视频算法工程师， 主要从事视频编解码、质量分析、视频处理相关领域的应用开发，专注于网易云音乐、Look 直播等视频内容生产与消费的底层技术。曾就职于虹软科技和 Intel 亚太研究中心，致力于多个视频编码标准的算法研究和工程优化。

大家好，我是网易云音乐的眭世晨，非常高兴能有这次机会站在网易首届音视频技术大会的现场进行分享，我今天分享的主题是《影像技术在短视频创作工具中的应用》，主要是从技术角度阐述网易云音乐中多种视频作品创作工具的设计思路，以及这些工具如何为用户创作提供帮助并带来价值。

短视频时代已来

我想先从当下火热的短视频说起。如今，我们的生活很大程度上已经被短视频改变。作为用户视频剪辑现场，我们花了大量时间在视频观看和评论互动；作为内容创作者，我们在各个短视频平台上创作发布了许多内容。可以说短视频融入了人们生活的方方面面。

但是严格来说，短视频现在已经不“短”了，它们正在从原先的15秒变得越来越长。带来的直接影响是什么呢？原本时长较短的视频结构简单，场景单一，而当视频时长达到一分钟之后，其所涵盖的场景更多，要求也随之提高，这就需要创作者在视频内以多个视点、镜头把视频组合起来，形成言之有物的视频。简而言之，视频时间延长对内容创作者提出了更高的要求。

所以，今天分享的内容主要为两大部分，一是传统影像学剪辑、组合的意义，二是介绍网易云音乐的视频编辑引擎，希望以此为内容创作者们在短视频领域的创作提供一些启发。

影像剪辑技术的发展与应用

开门见山地说：在短视频创作过程中，只是简单地将拍摄内容组合在一起是没有价值的，需将所有视频片段良好排列，才能将故事讲好并完整地呈现。如同文字一般，若只是将一连串深刻华丽的词语随意组合，内容都是毫无意义的。作为人类最早的活动影像，传统的电影也注意到了这一点。

最早的电影由美国的卢米埃尔兄弟通过改造爱迪生创造的“西洋镜”而产生，兄弟俩在法国巴黎的一家咖啡馆放映了自己拍摄的十部短片，其中最有名的就是《火车进站》，观众们看到火车朝自己飞奔而来，纷纷失声尖叫，四下逃窜。这时的电影并不能被称为“完整的电影”，更像是一部纪录片，拍摄的对象多为身边的生活场景，如：园丁浇水、火车进站等，结构也更为简单，人们很快便对这类只是单纯记录和模仿生活真实场景的短片感到了厌倦。

随后，被誉为“戏剧电影之父”的梅里爱推动了电影事业前进，他系统性地将光学效果、美工、布景、特效等手段融入了电影拍摄。在1899年拍摄的《灰姑娘》中，他巧妙地运用了停机再拍技术，创造出了南瓜变马车、破衣服变晚礼服等当时看来不可思议的电影画面，创造了独特的电影艺术。

梅里爱在电影拍摄时已经不自觉地使用了一些剪辑技术，但大多数情况下只是将剪辑作为连接电影镜头的一种手段。最早的电影剪辑较为简单，胶片剪辑需要把原始胶片拷贝冲印成中间片。在上世纪八九十年代，为了控制电影时长或在电影中增加广告片段，我国的电影放映师可在放映室通过剪刀和胶带完成剪辑拷贝。有了数字中间片之后，原始胶片可变成数字拷贝，在电脑上完成剪辑。

电影镜头有很多叙事特点。电影中常有一些重要的概念，比如蒙太奇就是通过剪辑构建与真实生活不一致的电影时空。举个例子，这是一个著名的实验，下图的右侧是同一位演员的同一张面无表情的照片，左侧是三个完全不同的场景，如果将其剪辑成连续的片段，如：冒着热气的食物的片段紧接演员照片，观众通过演员表情得到的信息是他很想吃这份食物；棺材的镜头紧接着演员照片，观众解读到的是他现在情绪非常悲伤。这说明了，通过不同的片段剪辑，即使是同样的人物表情也会向观众传达不一样的心理暗示。

蒙太奇法的应用

再比如，三镜头法也是非常经典的镜头拍摄法则，分为客观镜头、主观镜头、半主观镜头。各位平时都有记录生活和拍摄视频的经历，如果要拍摄两个人对话的场景，会选择用什么方法拍摄？大多数人可能会选择用镜头对着两个人，直接记录他们对话的过程。在三镜头法中，导演会将场景分成三个视点，以适合观众理解的方式重新组合。第一个镜头会使用正面景交代两个人所在的场景、位置关系、人物姿态等，也包含了导演想告知观众的其他细节。后面两个镜头则分别是两个人物的正面面部特写，强调表现两个人的心理变化。通过三镜头法，导演往往会比一般人拍摄的片段传达更多的信息和情绪。

视频：三镜头法

接下来介绍一些适合现代视频的后期制作工具，大多是传统 PC 上的工具，如：PR、AE、Davinci Resolve 等工具。传统的视频制作流程，首先需经过基本调色，再进行音视频素材的剪辑，最后增加一些视频转场等特效。不过这也不是完全固定的流程，针对不同的短视频内容，适合的拍摄、剪辑工具都大不相同。明星爱豆的展示可以使用任意拍摄工具，生活分享类视频大多使用手机直接拍摄剪辑，专业性更高的自拍短剧就需要用到摄像机和专业软件剪辑，再专业的体育赛事、知识科普类内容就离普通创作者们更遥远了，这里就不逐一介绍了。

网易云音乐视频编辑引擎

第二部分内容，主要介绍网易云音乐的视频编辑引擎。随着移动互联网技术发展，“人手一屏”的时代趋势下，很多人选择在移动端进行视频编辑，我们的移动端引擎结构在开发时也参考了一些 PC 端工具的经验，具有三大主要特点：可扩展性、跨平台、高性能。可扩展性是指一套引擎能支持多个业务，如：K 歌、Mlog 拍摄、评论视频、歌词视频、礼物动效生成等等。跨平台指代码在安卓、IOS 服务器上都可复用。视频编辑引擎结构可以见下图，底层根据平台特点使用解码器，上层是统一结构，充分运用了平台上的算力和 GPU 能力。

在视频剪辑过程中，大多数人最为关注的就是视频清晰的画质。现在大多数手机都具备高清视频的拍摄能力，这些视频数据庞大，处理困难，因此我们的视频编辑引擎建立了一套机制保障每位终端用户在使用剪辑工具时都能达到良好的状态。首先，对大多数手机建立黑白名单，通过对用户手机性能的采样数据，进行针对机型的性能优化，如：针对解码渲染优化要强调并行，用户在编辑视频时可能会输入很多段视频进行拼接，不停反复浏览片段组合，这就需要创建多个解码线层，而且这些解码线层都要提前工作，与渲染线层分开，这样用户才能在反复操作、切换、渲染时观看到实时剪辑之后的效果。

第二个功能是业内早已提出的模板工具。大多数用户没有接受过专业的电影或剪辑培训，直接上手剪辑难以很好的组合影像片段。因此 Apple 在早期就推出了 iMovie 的模板工具，这是经过专业人员调整过的影像组合方式，用户只需按照这个模板工具拍摄和组合这些影像，即可生成对应风格的大片。这是最早的模板工具。现在的很多视频创作平台提供了更为复杂的模板，我们的视频编辑引擎中也有许多精致的模板工具，涵盖了多组视频片段的组合、转场、特效等功能，用户只要把拍摄好的素材填入对应的位置，一键即可生成完整的视频。模板工具的出现极大降低了用户的使用门槛，一定程度上也提高了视频质量和产出速度，但视频的同质化也变得严重，由于模板都由设计师预先设计，不同用户使用相同的模板后得到的视频风格趋同，这是无法避免的一个弊端。

第三方面需要介绍的是转场效果。很多短视频都有丰富的转场效果，那么什么情况下需要转场？其实并非每个视频都需要转场效果，转场是连接不同场景的镜头，对观众而言通常意味着空间或时间的切换。换句话说，若是没有时间和空间切换，就不要轻易尝试转场，这反而会增加观众对视频理解的负担。

另外，关键帧工具是视频编辑中重要的工具之一，用于确定两组动作差异之间的连续帧。在设置了起始关键帧和结束关键帧之后，通过工具将中间过程的变化趋势呈现出来，最终形成完整连续的动画。这个工具应用场景广泛，视频类可实现平移、放大、缩小等连续过程，颜色类可实现亮度、色相、饱和度等连续变化。举个例子，用户在拍摄视频时无法记录树林从春天到秋天的连续变化场景，就可以通过关键帧工具，确定起始关键帧和结束关键帧的颜色视频剪辑现场，来达到树林跨季节色彩的连续变化过程。

音视频轨道分离工具也是非常实用的工具。在拍摄短视频时，通常情况会采用现场同步录音的方式，但在复杂场景下，我们需要将音轨和视频轨分离，单独进行编辑。这就考验了视频编辑工具的架构。网易云音乐视频编辑引擎对所有视频片段的音轨有很高的容纳度，可以分别添加其他的音视频内容。

再介绍一下调色工具。调色工具是很多 PC 视频编辑工具的重点，在移动端，考虑到用户的使用能力，许多平台则无法进行精细的色彩调整，调色主要依靠滤镜。但是精细的调色对用户来说也很重要，因此网易云音乐视频编辑引擎能帮助用户实现精细调色，而且在调色前后，视频分辨率没有变化。调色能帮助作者强化表达，并提升视频的视觉质量。

其他后期模块还有很多，诸如：文字编辑、音频编辑、速度调节、画幅裁切、抠像、防抖、物体跟踪、画中画、贴纸、特效等，这里就不一一列举了。

最后我想以一个视频结束今天的分享，总结来说，我认为技术最终只是帮助和服务创作者们创作视频内容，而非直接取代创作者的想法。有价值的视频内容最终还是得靠创作者自己的观察力、感染力，以及表达呈现的方式，而不是纯粹依赖各种特效。

再次感谢各位聆听，我的分享结束了。