ON A温暖的一天在2013年4月,我坐在一个朋友在巴黎的厨房,试图工程师意外发现。我试图让我的电脑写音乐自身。我希望能够打开它,并把它吐出来不是任何愚蠢的小调整算法而美丽,引人注目,神秘的音乐;东西我会很自豪地写了自己。The kitchen window was open, and as I listened to the sounds of children playing in the courtyard below, I thought about how the melodies of their voices made serendipitous counterpoint with the songs of nearby birds and the intermittent drone of traffic on the rue d’Alésia.
为了回应这些白日梦,我对我的软件做了一些调整——这是一个混乱的、一成不变的事情,当我看到这一点时,它背叛了我直觉的、自学成才的编程方法比尔水手刚刚上传了一批新的音频文件,我们共同的Dropbox文件夹。我一直在与比尔,媒体艺术家合作,在过去的几年里计算创造力的各个方面。我装的声音文件比尔的文件夹一些我自己的一起到软件,并设置它的滚动。这是回来后对我说:
我既激动又惊讶。这正是我所希望的:电脑创造了诱人的音乐——我想听的音乐!——完全出乎意料地操纵了我给它的声音信息。这首歌既具有未来主义色彩,又带有怀旧色彩,略显忧郁,而且非常微妙:甚至它所使用的数字噪音样本——基本上是声音碎片——似乎也很敏感地融合在了一起。它给了我一种独特的、略显迷茫的感觉,那就是电脑正在向我展示一种我练习了20多年的艺术形式的重要而深刻的东西。这种脆弱而美丽的音乐对我来说是全新的,我想知道我还能从电脑中学到什么关于音乐可能性的东西。
当我回到美国后,我在杜克大学校园里的一个烟草仓库的工作室里见到了比尔,我们都是那里的教员。我向他展示了制作令我兴奋的音乐的软件过程。我们立即开始头脑风暴工作流程,设想计算机是一个全面的合作者。我们想发明一种以硅为基础的生命形式来帮助创造音乐,而这种音乐仅仅是以碳为基础的生命形式自己无法想象的。我们的基本原理是,计算机可以快速导航大量的声波信息,并返回我们从未想到过的结果。如果我们能够提高计算机产生引人注目和不寻常结果的可能性,我们就能从本质上创造出理想的艺术合作者:具有奇迹般的创造力、不知疲倦和无私。
比尔和我还有一个你可以说是崇高的目标。我们想把注意力集中在人类和计算机的创造过程上。我们想展示它是如何相似,如何不同,以及这两个过程如何一起扩大艺术表现的范围。
正如比尔和我所看到的,人类的创造力可以被定义为在看似不相关的信息片段之间建立联系——由不可预知的主观力量控制。音乐尤其适合作为创作过程的模型。人类作曲家拥有信息的多个组成部分——旋律、和声、节奏——触手可及。但作曲家通常不会按顺序写出乐曲的旋律、和声和节奏。这些元素往往相互牵连,并从作曲家的想象中共同出现。比尔和我想模仿计算机中相互关联的元素的有机出现。
事实上,我们想要展示的是,计算机可以具有极大的创造力,可以做人类做不到的事情。在人类历史的大部分时间里,我们的创造性直觉都与记忆密不可分:我们所谓的灵感通常是我们过去在别人的作品中遇到的想法的混合。计算过程产生的结果不依赖于雷·库兹韦尔(Ray Kurzweil)所称的人类大脑的3亿个“模式处理器”,从而使记忆从创造性冲动中分离出来成为可能。库兹韦尔认为,人类所有的知识都可简化为通过学习和经验储存在新大脑皮层中的信息模式。
想象一下,问一个人的作曲家写仅使用钢琴白色音符旋律;然后给一台计算机相同的指令。计算机就不会花了一生的自愿和非自愿的音乐消费被调节,也不会有那种肌肉记忆中那年的钢琴课在作曲家产生。此外,计算机是由品味和风格的问题牵累,并且不倾向于让刚愎自用的假设可能会绕过创新。有什么本质上错了,当然与创造力的混音模式。观察一个艺术家的影响力上的另一个申明艺术表达的公共方面,事实上,艺术家没有在真空中工作。但也有没有理由认为人类的创造力应该由人的生理限制。
经过三年的讨论和实验,比尔和我制作了一张电子音乐专辑,名为s_traits. 它在去年11月上映,当我们看到纽约时报并将其评为“2014年度最佳音乐唱片”之一,称其“情感丰富,美得出奇”。我们当然很高兴得到了荣誉,但它不完全属于我们。虽然我们创造了制作专辑的计算机系统,但我们始终对它似乎拥有的音乐智能感到震惊。
We首先积累了一个包含110多小时音频的庞大数据库,这是我们的软件系统最终用来形成自己作品的信息宝库。数据库来源包括废弃碎片的碎片;现场记录;我们各自早期作品的录音;声学仪器样本,包括比尔和我在杜克一个美丽的施坦威上录制的录音;电子无人机;来自晦涩的老纪录片的配乐;以及在声音编辑器中将PDF作为原始数据打开时产生的数字噪声。其中一件被丢弃的是我的打击乐二重奏的早期电子版本海峡(2010),这部作品的灵感来自肯尼斯·科赫(Kenneth Koch)的同名诗歌,如今它仅以原声作品的形式存在。我把电子音轨放在了dropbox里海峡交给比尔,他把它切成小片的声音。
首先,我们把想要的东西放入数据库。然而,一段时间后,我们发现自己正在形成一套不言而喻的标准,即哪些内容可以保留,哪些内容可以删除。我们会定期检查数据库内容,并删除任何让我们觉得不合适的内容。以下是一些幸存下来的声音文件:
这些声音文件之所以被剪切,是因为它们具有神秘的吸引力。它们包含旋律或节奏信息的内核,空间足够大,可以与其他样本集成。我还应该提到,这些样本本身可能是从数据库中的其他声音文件生成的。通过从现有样本生成新样本,我们向数据库添加了一定程度的自参考性。
我们知道,我们输入到数据库中的任何信息都会对由此产生的音乐产生真实但不可预知的影响。系统可能会在任何时候选择每个样本,但不可能知道什么时候会发生。通过将样本组织到大小大致相同的类别中——雄音、旋律、和弦、节奏、噪音等等——我们将能够最大化系统输出的多样性。经过大约三年的音频储存,我们终于对数据库中样本的数量和组合感到满意。我们可以开始认真思考需要什么样的软件过程来从广阔的声音世界中提取完整的、疯狂的潜力。
那么,我们是如何让我们现在称之为“音乐特征”的系统来创作音乐,而不是简单地输出随机声音的呢?对我来说,描述这些特征背后的设计思想最简单的方法就是绕道进入青蛙的世界。
我们想发明一种以硅为基础的生命形式来帮助创造音乐,而这种音乐仅仅是以碳为基础的生命形式自己无法想象的。
有一天,当我和比尔讨论我们项目的某个方面时,他提到了一篇1959年由美国认知科学家杰罗姆·莱特文(Jerome Lettvin)和智利生物学家、控制论家亨贝托·马图拉纳(Humberto Maturana)合著的论文,题为《青蛙的眼睛告诉青蛙的大脑什么》(What the Frog’s Eye tell the Frog’s Brain)。这篇文章中最让我感兴趣的部分描述了视觉的复杂现象是如何由四个简单的操作者共同产生的,即,青蛙的视神经纤维,它检测视野内物体的对比度、凸度、运动和变暗。单独来看,每束纤维传递给青蛙大脑的信息并不是非常令人兴奋。但是在协同射击的过程中,它们产生了一幅青蛙周围环境的合成图像,使它能够跳跃、游泳和捕食。
这让我产生了一个想法,把它构建成一个由许多微小软件功能组成的网络,就像我读到的两栖类光纤束一样排列。我很着迷,通过连接简单的二进制过程,比如光/暗探测,可以产生像视觉这样神奇的东西。当然,汽车发动机也是这样工作的,如果不那么神秘的话:火花塞着火,活塞移动,你就能到达你要去的地方。在这一生物学绕道的激励下,我对轴承特性的思考转向了机械类比。我把构成音乐的各个软件过程想象成一台小机器,每台机器执行一项简单的任务,为创造计算机生成的音乐这一更大、更复杂的目标做出贡献。
也许其中一个机器的最基本示例是简单地确定声音文件持续时间的基本示例。在eAlrings_traits之前可以用样品做任何引人注目的事情,它必须知道它有多长。一些机器仅在给定样本的一部分上操作,随机选择它将播放的部分的开始和端点。例如,如果声音文件只有22秒,例如,我们不会希望系统尝试播放过去22秒的任何东西,因为没有什么可以播放。一旦eAlrings_traits了解它处理的文件的大小,它可以将该信息传递给其他有趣的东西的机器,例如基于精确计算的持续时间从所选文件中创建奇怪的节奏循环。
在bearings_traits的开发阶段,我通常会使用流行的可视化编程语言Max/MSP编写系统的某些方面的代码,并将其展示给Bill。例如,也许我们正在研究一种方法,使系统平稳地从一种节奏模式过渡到另一种。我们会加载一些声音文件,然后听电脑在用它们做什么。然后,我们会试图找出如何改进它——可能是过渡功能太快或太慢,或者是进一步细化它。为了让你们对这些头脑风暴会议有个大概的了解,我将把刚才给你们看的那些声音文件输入到这个系统的早期版本中。让我们看看会发生什么。
在这一点上,法案将提出一百万个新想法,他会跑掉,快速着火,因为我捕获了我的笔记本电脑试图让该该死的东西关闭:也许这个系统可以检测到它所写的音高信息,然后调出一组和声雄蜂,或者创作新的对位旋律?也许系统可以记录自己然后把这些记录传回系统,自动化生成过程?我会感到困惑,不知所措,怒目而视。然后我回到家,拼命地把比尔的一些绝妙的建议融入到系统中。之后我们再见面,重复整个练习。
W母鸡软件开始终于吐出我们似乎像“初稿”compositions-meaning我们感知音乐的结构完整性和进一步发展的潜力开始干预计算机的合作者为了把“草稿”来完成。我们的方法是保持计算机惊人的创造力,但以只有人类(至少目前)能做到的方式来完善它。例如,如果我听到一些东西——旋律,和弦进行——对我有情感上的吸引力,我会在混音中引起它的注意,重复它,必要时进一步发展它。如果游戏中有可能出现戏剧性的攻击或高潮,我便会尝试着将其呈现出来。比尔也做了类似的干预。全部26条轨道s_traits是这一三角合作进程的结果。下面是其中一个题为“作为诗意的正义而被抛下大海”:
为了培养涌现和新的联系,我们在bearings_traits中创造了一个最通用的小机器,我们称之为“生殖活套器”。我们称这种机器为生成式,因为它能实时生成自己的节奏轮廓。每次bearings_traits触发环形器时,它都会播放加载到其中的声音文件的不同片段。这确保了活套器永远不会完全重复自己。所选片段的持续时间可以是固定的,也可以是可变的。如果环形器设置为在播放完前一个片段后立即找到一个新的片段,那么故障的节奏可能会无限延长。根据声音文件的性质和长度,以及所选片段的平均长度,产生的效果可能是细微的波动,也可能是相当剧烈的震动。
生成较多的几个副本可以捆绑到我们呼叫发动机的较大装置中。在一个这样的发动机中,可以叠加在五个不同样本上同时操作的最多五个循环仪的输出,即时产生复杂的复音纹理。
与生成型活套引擎的连续、多层纹理不同,另一个由机器组成的引擎,每个机器都在数据库中寻找少量的声音——让我们称之为片段引擎——可以交替播放多达5个不同的片段,以创建不可预知的节奏模式。用于创建模式的声音文件的数量,从每个文件中提取的片段的持续时间,每个片段的播放方向(向后或向前),以及每个片段播放的顺序都取决于系统做出的离散决策。Bearings_traits还可以决定(或被设置)让所有的声音片段都有相同的持续时间,这将创造出或多或少有规律的节奏感,或者随机决定每个片段的长度,创造出更奇怪的、不对称的凹槽。
Bearings_traits具有通过其各种部件产生的音频集成到“最终”混合两种基本方法。一种方法达到计算机控制的混合板,决定增强其推子和其衰减。以这种方式,来自一个发动机音频的离散通道可以由本另一发动机来代替。淡入淡出,同时淡入一个声音的另一个变淡出,也可能以不同的速度,从不知不觉逐步几乎瞬间。机的整个子集专用于管理这些混合板功能。当声音通过他们所控制,并且可以决定淡化它或退出通道未来这些机器检测。
计算机不仅可以处理比人类更多的信息,它们也不受品味和风格问题的影响。
另一种方法相当于bearings_traits实时重新混合它所创作的音乐。比尔想让系统能够录制自己的音乐,然后用各种方法修改录音,将修改后的版本添加到它正在制作的音乐中。bearings_traits可以修改它的录音的一种方法是改变播放速度。这不仅会改变录音材料的音高,如果播放速度非常慢,它还可能产生一种静态的嗡嗡声效果,或者如果录音速度显著加快,会产生一种狂躁的声波能量。Bearings_traits还可以在有规律或不规则的时间间隔内播放它自己录制的部分,在音乐纹理中创造独特的感叹词。在任何时刻,每个插入的速度都可以修改。通过将这两个简单的功能(播放时间间隔和播放速度)联系起来,就会产生一个更加动态的结果。音乐不是简单地重复;它的模式具有奇怪的小异常,如碎片和音调变化,这创造了兴趣。
当我们听的声音素材,这些操作的结果,我们加载到bearings_traits,人们很容易对比尔和我相信,我们已经得到了接近工程意外发现的梦想,或至少增加它的频率。要明白我们的意思,这里是产生特别是对新的“草案”组成鹦鹉螺由bearings_traits的当前版本。我只演示了系统各部分的功能。这段简短的录音将让您了解当所有组件机器连接在一起时bearings_traits可以做什么。你可能还会听到为什么我们认为这些“草稿”适合人类音乐家进一步发展。我们的构图过程总是以这种方式开始,通过开启bearings_traits,并遵循不可预知的结果,到达我们以前无法想象的地方。
你听到的口语是一份为你写的长文本账单的片断s_traits作为肯尼斯科赫的诗歌“海峡”的回应,这激发了我早期的打击乐器。在它生成的每个新组合的开头时,eArgs_traits选择一个文本片段录制,按比例读取,作为一个标题,以及暗示提示,以彩色听众的音乐体验。
我已经描述的大多数生成过程使用某种形式的重复。重复的动态处理是轴承_traits设计的主要方面。在音乐中,正如在大多数形式的人类表达,重复用于区分重要事项,从更那么重要;这是作曲家阐述的含义如何,并由听众感知。在莫扎特钢琴奏鸣曲中,音乐的专题构建块是可识别的,因为它们通常是该件中最突出的重复元素。这不是一个神秘。这正是你所期待的。什么是然而,令人费解的是重复与材料变化的比例,这种思维过程导致作曲家为了引入一个新的细节而从重复的模式中分离出来。事实上,通过重复,这些新的细节本身可能在音乐结构上变得重要。
Bearings_traits在它所产生的音乐中发挥了重复和变化的比例,但是以古怪的、即兴的方式来做的。也许最重要的是,这个系统的细节表明,比尔和我所做的工作,使艺术成果凌驾于任何一种科学或技术标准之上。在试图利用计算创造力的过程中,我们从未抱过有朝一日取代自己成为作曲家的希望。一旦我们开始对系统的输出感到高兴和惊讶,我们就可以不再假装是计算机科学家,而专注于制作奇怪的音乐。
B我和我爱的成分,承载的特点是能够捏造。这种由内而外、上下颠倒的音乐,往往会激发我们为自己的设计贡献令人惊讶的细节。系统的创造力使我们能够以不同的方式使用自己的创造力。当我们不喜欢bearings_traits的时候,我们就直接把它扔了,并要求更多,没有任何怨恨。
比尔和我一直计划自己完善系统的组成。目前,bearings_traits根本无法观察它在做什么,并做出价值判断。它不会一边听一边说:“太棒了!我想在这方面做得更多!”我们为自己保留了这个角色,因为我们的最终目标是制作引人注目的、原创的音乐供人类听。此外,让人类的创造力适应电脑的奇怪音乐素材本身就是一种教育。
我们对人类干预计算机工作的强烈感受,不应表明我们对继续发展承载特性的能力不感兴趣。相反,还有很多令人兴奋的工作要做。就我个人而言,我渴望创作出在我离开很久之后仍能继续发展和重塑自己的作品。在某种程度上,Bill和我已经实现了这个目标。我们可以在房间里安装bearings_traits,并无限期地开启它,并确信它永远不会重复。但我们可以做得更多,不仅仅是保证不断的、无尽的发明。给系统一种自我意识显然是下一步。
从理论上讲,你所做的每一个决定都可以被编码、记录和分析。这些决定的示例可能包括:选择的声音文件(以及其中的哪些部分)、声音文件包含的频率或音调、同时播放的机器的数量以及由此产生的音乐纹理的和声。从这一信息中,我们可以相对容易地赋予它发展出与自身口味相似的东西的能力,为其过去的行为赋予价值,并允许其在开始时任意增加或减少,然后,在历史先例的重压下,这些行为最终会在未来的作品中重现。
最终,比尔和我一起bearings_traits写的音乐向我们表明,计算确实可以补充人的创造力与惊心动魄的效果。在未来,人类将继续成为其作品的仲裁者,而是整合计算机生成的材料的选择从原材料的信息,一系列和弦,图像的导出,舞蹈动作,只会以丰富的艺术实践。此外,技术会增加它的潜力发掘意想不到的信息看似不相干的领域之间通电连接。而远离非人性化的艺术,技术工艺的发展使人类表达的范围如下深深人类轨迹。这样的技术的帮助下开发的艺术作品将反过来,更加密切地反映狂热,淫乱,贪婪的人类,创造他们的头脑。
约翰·苏普科是杜克大学亨特家庭音乐助理教授,他和比尔·希曼共同指导媒体艺术+科学项目的涌现实验室。Supko的音乐可以在新阿姆斯特丹和棉织品的标签上听到。







