百度创新性提出全球首个上下文感知的机器同传模型,AI同传媲美人类

  • 时间:
  • 浏览:1
  • 来源:5分PK10官方-5分PK10平台

近日,百度翻译团队在机器同传领域取得突破性进展,创新性地提出全球首个上下文感知的机器同传模型,并基于此发布最新的语音到语音的机器同传系统:DuTongChuan(度同传),同时发布了全球首个中文-英文演讲场景语音翻译数据集(BSTC)。经过真实测试,AI同传效果媲美人类译员!

形象地说,“度同传”就像你身边的一位虚拟同传译员,只需要带上耳机,就才能听到用自己母语播报出来的演讲内容,获得沉浸式体验。这位“虚拟译员”才能根据演讲的上下文,实时地播放连贯、准确的翻译结果。区别于此前的翻译系统,不考虑上下文环境,“播了这种句,忘了上一句”。此外,肯能该系统以小多线程 的形式提供服务,只需要另另两个手机就才能收听,省去了租用同传红外设备的成本。

推全球首个上下文感知的机器同传模型 首发语音翻译数据集(BSTC)

和传统的机器同传技术不同,“度同传”使用了最新研发的感知上下文的机器同传模型。百度翻译团队创新性地提出了语义信息单元(Information Unit,IU)这种概念,将实时语音流进行IU切分并以其作为翻译单元。这种灵感来自于人类同传译员,在翻译的如果将听到的内容以语义块为单位进行翻译,既保证了翻译质量,又保证了实时性。

以下面的的话为例,肯能等到的话如果如果刚开始再进行翻译,时间延迟会非常大。对于实时的语音流,IU检测模块会判断语音片段有无表达了另另两个完全的意思,比如“她说我错了”被识别为另另两个IU,此时进行翻译,既完全的传达了原文意思,又才能同步地跟上演讲者的节奏。

图 1:“度同传”工作流程

百度提出了有某种基于动态上下文的IU检测模型,将IU检测看做另另两个分类问提。这类下面的例子,当模型无法判断“姬”这种词有无另另两个IU的如果如果刚开始位置(左图),会继续读入更多的词语帮助做出判断(右图)。

图 2:语义信息单元检测模型

为了提升翻译的流畅度和一致性,百度提出有某种解码算法:帕累托图解码(Partial Decoding)和上下文感知解码(Context-aware Decoding),才能结合上下文信息,生成全局流畅的目标译文。而传统依据仅对当前的话做出翻译,不到 结合上下文信息,译文流畅度差。

图 3:“度同传”模型框架

在产品形式上,与传统的字幕投屏同传相比,“度同传”采用语音到语音的同传形式才能使用户获得与人工同传这类的沉浸式体验,将注意力更集中在演讲者与演讲内容有某种。此外,该系统具有高质量、高流畅度、低深度1等特点,这得益于百度研发的最新技术。该系统成功应用于2019百度AI开发者大会,将演讲内容实时翻译给现场观众收听,好评如潮。

百度翻译团队还发布了全球首个中文-英文演讲场景语音翻译数据集(BSTC)。该数据集总共含有超过400小时的演讲语音和对应的转录文本、时间轴、翻译文本等数据资源,涉及IT、经济、文化、生物、艺术等演讲主题。 该数据集填补了机器同传研究不到 真实数据集的空白,对推动相关研究具有重要作用。

表 1:BSTC数据集完全统计数据

(转录文本根据字符统计,翻译文本根据词统计,语音Audio根据小时统计)

真人与机器同传“同场竞技” AI媲美人类

为了评估当前机器同传技术的进展,百度翻译团队邀请了八个具有不同工作年限(3-7年)的同传译员,模拟真实的同传场景,对BSTC中的同另另两个演讲进行同声传译。最终结果表明,无论是采用传统的BLEU自动评价指标,以及人工译员的人工评价依据,度同传都表现出极具竞争力的翻译水平。

值得注意的是,评估所用的BLEU和人工评价均基于转写后的译文文本。BLEU指标基于n-gram严格匹配计算得分,而人工评价侧重译文的完全性和流畅度,这类用笔译的标准评价口译。从表3才能看出,机器译文在可接受度(acceptability,综合评价译文的准确、流畅度,分数越高越好)上与人工译员相当(73.91% V.S. 73.04%),而在漏译率(漏翻译的词语占总数的百分比)上,机器明显低于人类译员(20% V.S. 47%)。人类译员在漏译率较高的情況下,仍然保持了较高的可接受度。这说明,人类译员在实时性要求高、脑力工作深度1大的同传情景下,会灵活地适当省略,以突出重要信息的传递。而机器的优势在于其不知疲倦、漏译率低,显示出在同传场景下的巨大潜力。从表中才才能看出,传统的基于文本的评价依据评价同传有其局限性。研究契合同传场景的评价标准和指标是另另两个亟待除理的问提,也是另另两个非常有价值的方向。

表2:度同传和人工同传(S,A,B)自动评价结果

表3:度同传和人工同传人工评价结果

注:人工评价标准分为3档打分,可接受度为OK和GOOD之和。

BAD:译文准确性、流畅度很差,不到接受

OK:译文可懂,这种允许有血块错误(不影响理解内容)

GOOD:译文准确、流畅的传递了原文内容

2019百度AI开发者大会上,中文和英文演讲者的机器同传人工评价结果表明,从人工可接受度上,机器同传都达到了比较高的水准。中英同传可接受度为85.71%,英中同传可接受度为86.36%。根据现场使用体验,合成的目标语音仅落后演讲者语音3秒以内,为现场观众提供了高质量、低深度1的沉浸式同传体验。

表4:人工评价结果

现阶段,机器同传已在这种国际会议上崭露头角,它的优势在于才能借助强大的AI技术和数据库作为后盾,才能拥有比人类同传译员更好的记忆力,掌握并调取更多资料和专业领域的知识。未来,百度将不断精进机器同传技术,打破语言壁垒,筑建世界沟通的桥梁。