谷歌、索尼的专家揭秘AI+音乐项目：AI会取代音乐家吗？

36氪的朋友们·2017-07-18 11:03

谷歌和索尼的新项目正使用机器学习技术来创作音乐。我们应该害怕还是兴奋？

项目

未融资福建省2022-01

简介

36氪报道文化娱乐消费电商

我要联系

编者按：本文来自微信公众号“机械鸡”（ID：jixieji2017），作者茗君；36氪经授权发布。

随着人工智能技术的不断发展，AI创作音乐似乎也不是那么新鲜的事了。近日，佐治亚理工大学的研究者甚至研发了可以演奏乐器、进行表演的机器人，AI作曲、机器人乐队演奏的场景似乎不再遥远。

而这些进展也让人不禁思考：人工智能连音乐家都要取代了吗？

谷歌的Magenta和索尼的Flow Machines是两个目前顶尖的音乐AI研发项目。本文将为您介绍两个团队的目前的研发进展，并带来对Magenta项目研发人员Douglas Eck、Flow Machines项目负责人François Pachet以及音乐家Benoît Carré的采访，从业内人士的角度解读音乐AI到底有多神秘及其前景。

首先，我们来听听下面这首名为“爸爸的汽车”（Daddy’s Car）歌，感觉怎么样？

如果这首歌出现在某个视频网站广告中，你可能不会觉得有什么特别需要关注的，因为这首歌就像是一首有点披头士风格的歌曲而已。

但是，如果我告诉你这首“爸爸的汽车”是由计算机的“大脑”写的，你会怎么想？这个计算机大脑是由索尼旗下Flow Machines项目所创建，其大型神经网络可创作披头士风格（由法国音乐家Benoît Carré精修）的旋律。这首“爸爸的汽车”是其中最出色的一首。

如今计算机开始创作越来越多的音乐，而它们创作音乐的方式，并不是像人一样由灵感迸发，而是遵循设计者的指令进行创造。而也有越来越多的公司和机构愿意进行该项研发投资。例如，Flow Machines就获得了欧洲研究委员会（European Research Council）250万美元的赞助。

像Siri等聊天机器人如今已经可以和人进行对话，而下一步如何让机器的声音更有“人情味”，则就比较难了。让机器创作音乐，正是让它们更有人情味的一种方式——而机器又如何懂得音符在哪里停止，音乐由从哪里开始呢？

谷歌Magenta科学家：AI创作音乐像北极熊骑三轮车

Douglas Eck是Magenta项目的研发科学家，这个项目同时也是谷歌大脑的项目分支之一。他即是一名工程师也是一名音乐家。他曾在印第安纳的咖啡屋演奏过蓝草音乐和朋克音乐，并回想那是他职业的巅峰。他还对哲学意义上音符与音乐的区别非常感兴趣。

Eck并不赞同对AI音乐进行图灵测试，他也不希望Magenta取代音乐家，这有点让人出乎意料。“我并不期望你按下一个按钮，机器就可以创作出调动你情绪的音乐。那是一个有趣的目标，但不是我的目标。”

Eck认为，对Magenta团队来说最大的障碍不在于技术，而是人：研发者需要像音乐家一样去思考，而不是仅仅从工程师的角度出发。

Eck指出，当以一个外行人的角度来看那些开源代码论坛的时候，你只会发现那些论坛是充满代码的程序员地盘，但却缺少人情味。而这也是他们工作的困难之一：如何创建让音乐家真正感兴趣并可以实际使用的技术？

Magenta目前是程序员的“游乐园”，程序作者可以在此上传他们的早期成果，但目前他们的音乐作品还比较生涩，如同初学者一样。

Eck比喻到，目前他看待AI创作音乐就像看待“北极熊骑三轮车”一样：先不管结果如何，最让人惊讶的是可以开始了。他也接受一些尝试了他们作品的人的批评。目前Google工程师的态度也都是类似的谦虚，“如果歌手Frank Ocean说要和我们合作，我们也会拒绝的，因为还不是时候。”

Eck认为，目前Magenta缺少的正是音乐家的参与：将软件塑造成工程师无法想象的样子。“以音乐编辑设备鼓机举例，当我们开发出它富有创意的用处时，它才会发光发热。也许现在我们有Magenta的模型来生成声音和旋律序列，但真正有趣的是让音乐家来操作它、调适它。”

采访中Eck还提及Meganta的新工具NSynth，一个已经接受30万种乐器声音训练的神经网络。这种学习声音的过程展现的是一种跨越式的思路：一般来说，如果电脑要重现声音，它会将声波的物理振动简化为近似数字，再将数字进行缩放。

Nsynth则不一样，它不会生成数字，而是已经有一些植入的“想法”来区分声音听起来像什么。本质上它是一个合成器，可以在数据库的两种声音之间淡入淡出，并生成一种新的声音。

举个例子，你可以让NSynth把鹅叫声和竖琴声合成在一起，然后导入你的家庭影院。但目前来说， NSynth的功能仍然停留在“飞行器零件”的层面，并没有制造出真正的音乐“飞机”。

索尼Flow Machines：和用户合作的虚拟音乐家

与此相比，索尼的Flow Machines有点像是在起飞了。它的网站好像就在急切地告诉你他们是如何由巴赫合唱团受到启发，学会给贝多芬的欢乐颂写和弦。

下面的一段视频，展示的是Flow Machines的创作歌手及音乐家Benoît Carré使用工具Reflexive Looper进行的披头士“I Feel Fine”的单人演奏。操作者不用告诉Reflexive Looper要录制什么，相反，Reflexive Looper会聆听你的演奏并自主决定录制什么、循环什么，它甚至可以将循环材料进行音调的转换。

音乐家BenoîtCarré自己录制歌曲

如果Magenta将自己称为一个研究项目，Flow Machines则更在意结果，并计划发行数名艺术家使用其产品进行创作的汇编专辑。Flow Machines的负责人François Pachet谈到，他们最初的成果可能只是让人们听到了技术工艺，但现在，他们想让人们仅仅听到音乐，尽管这会很难。

Flow Machines和Magenta不一样的地方在于它本身是一个大型的歌曲和风格数据库，你可以从中选取一些材料并告诉软件你的创作要求（例如不要太多短音符、不要太多和弦等等），当软件生成结果后，你可以保留其中你喜欢的部分，并让软件基于此继续创作。换句话说，Flow Machines像是一个可以基于大量材料即兴创作，并和用户合作的虚拟音乐家。

索尼Flow Machines负责人：只有音乐家才可以创作独一无二的音乐

有关机器意识的一个著名思想实验是“中文房间”，由美国哲学家约翰希尔勒在1980年提出。实验过程大致是这样：假设你被锁在一个房间里，房间外的人通过门缝给你递中文纸条，你不懂也不会说中文，但你房间中有书告诉你如何用正确的中文符号回应。因此你写下相应的中文传递回去，但你还是不知道你在读什么和写什么中文。而房间外的人也并不知道你的无知，他们会认为一个说着流利中文的人在和他们进行有意义的对话。

而这就是希尔勒对有意识机器的隐喻性辩论，他认为机器就是房间中的抄写员，它们只能操纵符号，却不能理解符号。

这可以用来比喻Magenta和Machine Flows所创作的音乐。Douglas Eck和François Pachet对机器意识的见解是相似的：他们并不相信机器具有意识。Eck认为“我们用的只是技术而已。所有的艺术创作都需要技术，而技术可以让我们更有创意。正如没有环境的支持，我们的大脑不会那么聪明。例如，没有笔和纸，大多数人不能做大位数的除法。

Pachet的观点是相似的，他认为Flow Machines可以自己创作“完美”的歌曲，但只有音乐家才可以创作出独一无二的音乐。“创作音乐很容易，”他谈到，“但只有艺术家才可以创作出伟大的作品。”

至少目前为止，机器还是无法理解谱曲的目的和意义。真正伟大的音乐来自与对沟通的强烈渴望，在这一点上，人类还是有着一席之地。“兴奋感”引领着人类不断探索，而这对于机器来说仍然陌生。简单来说，你可以教机器做糖，但无法教它想要吃糖。

当然，Pachet也指出，机器有时也会创作出令人惊叹的音乐，“有时候它会把几行吉他旋律映射到一首新歌上，而且效果很好。”然而，他也谈到，对于人类来说，为什么喜欢某些歌而不喜欢另一些歌是连自己都解释不清的，喜欢的冲动来自于人们的潜意识。这就是为什么Pachet目前并不相信计算机意识的原因，尽管机器已经可以创作音乐，似乎触及到了人类行为的最前沿，但他并不觉得有一个灵魂潜伏在代码之中。

对他来说，音乐AI和数字合成器类似，音乐AI是一种新型的工具，我们只需要知道如何使用它。

索尼Flow Machines音乐家：AI音乐触发想象和灵感

有趣的是，采访之中只有音乐家Benoît Carré表明程序创作的音乐具有未知的神秘感。Carré目前的全职工作是与Flow Machines合作探索并测试程序。他认为使用这种复杂的算法软件让他能够更深入地探索自己的潜意识。

“阴影先生”（Mr. Shadow）是Flow Machines基于数百个美国爵士乐标准创作的歌曲，它的旋律触发了Carré的想象，并让他产生创作灵感。他着迷于机器读取人声的方式，并认为机器在其中添加了些什么元素。

“就像是抓住了歌手的灵魂一样，”他说，“我听到的不仅仅是讲述歌词故事的声音，而是有情绪、有风格的歌唱方式。歌曲很抽象，但又非常情绪化。这就是我觉得这个工具非常神奇的地方，你可以像个不明世事小孩一样创作音乐，这是一种新型的歌曲。”

音乐创作本质上来说是一种想象，在这个过程中，我们可以到达其它艺术创作无法代领我们到达的潜意识深层。我们唯一需要推动的东西是空气，当空气静止时，音乐就结束了。音乐是所有艺术形式中最缥缈的，当机器能够越来越多地取代音乐创作的体力活时，或许音乐家能够更解放，投入更多到想象之中。

Carré说，“Flow Machines创作的音乐会代领你深入你自己，探索你创造性的阴影面。我在探索一种新的创造音乐的方式，或者说是一种新的风格。机器创作的旋律并不一定是你的风格，却是你选择的结果。可能比你想要的更多，多出来的东西好像并不存在于我们的现实。”

Carré认为Flow Machines和他演奏所使用的Reflexive Looper工具具有智慧。“当我使用Flow Machines时，我觉得我在合作，”他说，“机器创作的旋律有时候让我迷恋，因为它们太不一样了。好比你要睡着时仅存的思绪，你无法识别它们。它们像真实又像虚幻。它们有自己的世界。”

Magenta和NNabla

Google Magenta通过表现力和动力学生成音乐

Magenta有两个目标。这是第一个推动音乐，视频，图像和文字生成最新技术的研究项目。机器学习已经完成了很多工作 - 例如语音识别和翻译; 在这个项目中，我们探讨内容的创造。第二，Magenta正在建立艺术家，开发人员和机器学习研究人员的社区。为了促进这一点，Magenta核心团队正在围绕TensorFlow建立开源基础设施，用于制作艺术和音乐。