">10码三期内必开一期|三肖三马期期准选一码|男人味资料图

您现在的位置:主页 > 成考动态 > 招生简章 >  > 正文

《赛博朋克2077》是如何将人物表情和口型本地化的?

2020-12-15 20:08804488.com新版澳门四不像

在开发《赛博朋克2077》期间,“巫师”系列开发商CD Projekt Red与许多名人进行了合作。例如,让著名影星基努·里维斯扮演角色强尼银手,而瑞典朋克乐队Refused和加拿大流行歌手Grimes则参与了游戏里的音乐表演。

但你很可能从未听说过Jali Research的名字。这是一家来自加拿大的面部动画公司,在《赛博朋克2077》的本地化过程中为CDPR提供了协助。

Jali成立于多伦多大学内部,由博士生波夫·爱德华兹(Pif Edwards)、曾获得奥斯卡奖的动画师兼总监克里斯·兰德雷斯(Chris Landreth),以及尤金·富梅(Eugene Fiume)和卡兰·辛格(Karan Singh)两位教授联合创办。

Jali Research的部分成员

一些基本方法

起初爱德华兹的主要研究方向是面部动画,不过后来转移到了语言表达上,因为他认为当人们在表达想法时,几乎总是在说话。他对当时用来处理语音和动画的那些工具感到不满,决定自己构建新工具。

2016年,Jali向计算机图形学会议SIGGRAPH提交了一篇将程序性讲话作为主题的论文,CDPR在读过那篇文章后与他们取得联系。

在2015年发售的《巫师3》中,CDPR使用算法来处理8种不同语言角色配音的面部动画,并在一定程度上取得了成功。不过,《赛博朋克2077》还有更远大的目标,希望对10种语言的角色配音进行口型同步,包括英语、德语、西班牙语、法语、意大利语、波兰语、巴西葡萄牙语、俄语、中文普通话和日语。

CDPR将机器学习和基于规则的人工智能进行了结合使用。其中,机器学习被用于“校准”阶段,目标是让机器弄清楚当某个人说话时,究竟会发出哪些声音。

“假设我们有一份音频文件,里边有人正在说‘Hello’。”Jali联合创始人兼首席技术官爱德华兹解释道,“H音是从哪里开始,在哪里结束的?e、l和o的声音又在哪里?我们会标记特定语言的信息,然后训练一个机器学习过程,让它使用数据来识别声音。”

“之后你可以扔给它一句此前从未见过的新对话,而它将会预测声音之间的界线,以及每个音素的持续时间。”

我们可能从未注意到表情和口型的本地化,但这也许就是成功?

Jali接下来会进入工作的第二阶段,即动画制作。他使用老式基于规则的AI,以确定哪些面部动作与角色正在发出的声音相对应。这套系统会对特定的输入做出响应,执行操作。

“借助这种基于规则的方法,我们可以根据角色发音来判断应该采用哪种嘴型。”爱德华兹说,“例如,你在说‘dude’和‘you’时嘴型看上去很像,但它们是两个完全不同的词……当你念出某些特定字母或声音时,嘴型未必一成不变。你不能说这是个en音,所以我发音时嘴型就像这样。你得考虑很多变量,包括字母前后有哪些其他音节等。”

“我们对语音做过大量研究,积累了各方面的很多不同知识,并制定了一系列规则。无论你正在发出什么声音,无论不同语言在发音上有哪些区别,我们都知道需要配备怎样的面部表情。”爱德华兹说。

这种技术结合的美妙之处在于,在机器学习过程的支持下,同一套基于规则的AI可以被运用于多种不同方言。“我们必须针对每种语言专门训练机器学习过程,但动画的组成部分是相同的。我们没有针对日语的特定动画模型,只有语言模型。”

在游戏里,玩家最直观的感受还是配音

“令我惊讶的是,语言学的一般规则适用于所有语言,但这很难……人们之所以不愿意进行这类基于规则的工作,是因为你不得不了解这些规则,需要耗费很长时间。”

Jali帮助开发团队节省了大量时间。平均而言,一位动画师需要花大约7小时才能做完单个角色在游戏里说1分钟话的动画,而《赛博朋克2077》不但是一款含有巨量对话的大型RPG,还得支持10种不同语言配音的口型同步,显然需要CDPR付出巨大的人力和时间成本。

除了口型,还能做什么

从某种意义上讲,借助这种本地化技术,《赛博朋克2077》还将世界各地的更多语言视为“一等语言”。很多时候,游戏发行商只会在作品中针对英语同步角色口型,在为其他语言做本地化时会进行额外的配音,效果却往往不尽人意。