谷歌：不让翻译“中间商”赚差价

本文来自新智元，36氪经授权转发，原标题：《同声传译被攻陷！谷歌发布Translatotron直接语音翻译系统》。

让说不同语言的人更容易地、直接地相互交流，这是语音到语音的翻译系统(Speech-to-speech translation)的目的，这样的系统在过去几十年里取得了不错的进展。

今天，谷歌发布Translatotron语音翻译系统，这是第一个可以直接将一个人的声音从一种语言转换成另一种语言，同时保持说话人的声音和节奏的翻译模型。

传统上，语音翻译系统通常有3个独立的部分：自动语音识别将源语音转录为文本，机器翻译将转录的文本翻译成目标语言，最后，文本到语音合成(TTS)系统将翻译文本转换成目标语言的语音。

许多商业语音到语音翻译的产品都采用这样的系统，包括Google Translate。但是，这类系统依赖于中间文本，准确率不高，而且效率较低。

谷歌的新工具Translatotron舍弃了将语音翻译为文本再返回语音的步骤，而是采用端到端的技术，直接将说话者的声音翻译成另一种语言。这使它能够快速地翻译，但更重要的是，能够更容易反映说话人的语调和节奏。

在论文《基于序列到序列模型的直接语音到语音翻译》(Direct speech-to-speech translation with a sequence-to-sequence model）中，谷歌的研究人员提出一种基于单个注意力序列到序列模型的直接语音到语音翻译的新实验系统，该系统不依赖于中间文本表示。

这个系统被称为Translatotron，避免了将任务划分为独立的阶段，比级联系统更有优势，包括推理速度快、自然地避免了识别和翻译之间的复合错误，能够在翻译后保留原说话者的声音，以及能够更好地处理不需要翻译的单词(如名称和专有名词)。

语音翻译端到端模型的出现始于2016年，当时研究人员证明了使用单个序列到序列模型进行语音到文本翻译的可行性。2017年，我们证明了这种端到端模型可以超越级联模型(cascade models)。

最近有许多工作进一步改进了端到端语音到文本翻译模型的方法，包括同样来自谷歌的利用弱监督数据的工作(https://arxiv.org/abs/1811.02050)。

Translatotron更进一步，证明了单个序列到序列模型可以直接将一种语言的语音翻译成另一种语言的语音，而不需要像级联系统那样依赖于任何一种语言的中间文本表示。

Translatotron基于一个sequence-to-sequence网络，它将源声谱图(spectrograms)作为输入，生成目标语言翻译内容的声谱图。

输入和生成的声谱图

此外，Translatotron还使用了另外两个单独训练的组件：一个神经声音编码器(neural vocoder)，可以将输出声谱图转换为时域波形；另外，还可以选择使用一个speaker encoder，用于在合成翻译语音时保持源speaker的语音特征。

在训练过程中，序列到序列模型使用一个多任务目标预测源和目标转录文本，同时生成目标声谱图。然而，推理过程中不需要使用转录文本或其他中间文本表示。

Translatotron的模型结构