全球首个 3D 版 AI 合成主播亮相“新小微”
2020-05-21 肖漫 雷锋网
浏览
大家好，我是 AI 合成主播家族新成员——新小微。
整洁的头发，蓝色的正装，「新小微」坐在新闻台前正经地发话。
AI 合成主播已不稀奇，但能走动、做手势、换装的 3D 版 AI 主播，「新小微」是全球第一个。
刚一上岗，「新小微」就被安排参与今年全国两会期间进行新闻资讯播报。
「新小微」上岗
「新小微」是新闻界首个由 AI 驱动，3D 技术呈现的 AI 合成主播，其原型为新华社记者赵琬微。
与以前的 AI 合成主播相比，「新小微」最大的不同在于其 3D 特性，丰富了播报形态，可以从不同角度进行全方位的呈现。
传统单一景深
雷锋网注：「新小微」进入虚拟演播室（图源新华社）
可以看出，此前的 AI 合成主播大多是坐在特定位置上进行新闻播报，而「新小微」则能够进行走动、转身等肢体动作。
不仅如此，「新小微」在表情方面也变得多样；不再只有“职业假笑”，多了一些微表情。
雷锋网(公众号：雷锋网)注：图源新华社
不得不说，AI 合成主播越来越有“人样”了。
除了增强了立体感和层次感，在智能性方面，「新小微」也有了新的提升。「新小微」的项目负责人表示，在人工智能的实时驱动下，3D 版 AI 合成主播可实现功能持续自我更迭。
比如说，在“变妆/装”上，「新小微」可以说比以前的 AI 主播“爱美”多了，她的发型、妆容可以根据不同场景、不同新闻报道需要而进行变换。
更为甚者，「新小微」的妆容还细致到看得见毛孔。
前面提到，「新小微」在两会期间将正式上岗，进行可量化生产新闻播报视频。
据新华社介绍，只要在机器上输入相应文本内容，「新小微」就能进行新闻播报，并根据不同的语义生成表情信息和肢体动作。
随着「新小微」越来越智能化，经过不断的迭代，「新小微」的舞台不仅仅在于演播厅。相关负责人表示：
随着 3D 虚拟场景不断拓展，「新小微」将走出演播室，在不同场景中更好地满足新闻呈现的多样化需求。
如此看来，只要实力够，走出演播厅不是梦。
难怪网友们纷纷感叹，可能要失业了。
AI 主播进入 3D 时代
从表现来看，无论在表情信息、肢体动作、妆容变化，或是在播报新闻的专业能力方面，「新小微」都优于前者。
问题来了，「新小微」作为 AI 合成主播的“后浪”，是借以什么技术将“前浪”拍在沙滩上的呢？
在数字人模型方面，「新小微」采用了扫描还原、面部肌肉驱动、表情肢体捕捉等技术，使其还原出逼真的头发和皮肤效果。
在肢体动作方面，其采集工作就涉及到海量数据，「新小微」的原型赵琬微需要带着数据采集头盔，有数百个摄像头对其身体部位进行 360° 全方位“打点”扫描。
不仅如此，摄像头的数据采集工作还包含了表情扫描，无论什么形态都能够细致地捕捉，作为「新小微」诞生的基础。
另外，基于搜狗分身的端到端多模态建模技术，「新小微」的建模训练能够联合语音、图像、文本、3D 肌肉运动数据等多模态信息完成。
再加以 AI 算法的驱动，「新小微」的专业能力得到了进一步提升，其表情变化、唇动、肢体表达都能够跟随语音文本改变。
而对于「新小微」妆容、服装上的改变，则是基于其“微模块化”的特性。项目负责人进一步解释称：
就像拼乐高一样，我们对‘新小微’的各个部位和表情进行了模块化处理，然后重新组装。
AI 合成主播家族
随着「新小微」的上岗，这意味着新华社的 AI 合成主播家族又添了新成员。
早在 2018 年 11 月 7 日，新华社就迎来了全球首个全仿真智能 AI 主持人「新小浩」，以主持人邱浩为原型。
据官方统计数据，首位 AI 合成主播「新小浩」已在新华社客户端上持续为观众服务 500 多天，先后产出 13000 多条新闻报道，累计时长超过 35000 分钟。
搜狗 CEO 王小川介绍到，该智能 AI 主持人基于「搜狗分身」技术，将真人主播的声音、唇形、表情动作等特征进行提取，然后再通过语音合成、唇形合成、表情合成以及深度学习等技术进行克隆。在播报新闻时，只需提供文字，AI 合成主播就能进行仿真播报。
不过，虽然第一代 AI 合成主播十分惊艳，但仍存在一些缺憾，如 AI 合成主播此前原型只有男性，没有女性；合成主播只有面部表情，没有肢体动作等。
2019 年 2 月-3 月，AI 合成主播进行了两次版本迭代，由此迎来了全球首位 AI 合成女主播「新小萌」。
相对于初代 AI 合成主播，「新小萌」进一步增强了用户的新闻视听体验，不再局限于坐着播新闻，还增加了一些肢体动作。
并且在版本迭代的同时，AI 合成主播的定制周期也在不断缩减。由于早期技术尚不成熟，需要用到大量的数据。通过迭代之后，录制时长缩短，且录取的数据也在减少，几个小时的视频资料就可以形成一个逼真形象。
从「新小浩」到「新小萌」，再到「新小微」，每一次 AI 合成主播的现身都会伴随着两种不同的话语声音，在赞叹科技进步之余，也有指出不足的发声。
以最新推出的「新小微」为例，有网友指出，「新小微」在读到“AI”时的发音有些别扭；这也从侧面说明了「新小微」还不够自然，还没能够完全像人一样。
但是，技术的发展是需要一点点的量变累积，在不断的迭代升级中完善，而从这一层面来看，「新小微」是有所进步的。
