一個技藝的典範 | 麻省理工學院新聞

音樂家喬丹·魯德斯 (Jordan Rudess) 在麻省理工學院媒體實驗室的音樂會

在九月份，麻省理工學院媒體實驗室聚集了一大群人，來聽音樂家喬丹·魯德斯 (Jordan Rudess) 和兩位合作夥伴的音樂會。其中一位是小提琴手兼歌手卡米拉·貝克曼 (Camilla Bäckman)，她之前曾與魯德斯合作過。另一位則是一個人工智慧模型，非正式地被稱為 jam_bot，這是魯德斯與麻省理工學院團隊在幾個月前共同開發的，這次是它首次公開亮相，仍在進行中。

在整場表演中，魯德斯和貝克曼以熟練的音樂家之姿互相交流，找到音樂的節奏。魯德斯與 jam_bot 的互動則顯示出一種不同且陌生的交流方式。在一段受到巴赫啟發的二重奏中，魯德斯時而演奏幾小節，時而讓人工智慧繼續以類似的巴洛克風格演奏。每當模型輪到它的回合時，魯德斯的臉上會流露出各種表情：困惑、專注、好奇。演奏結束時，魯德斯向觀眾坦言：「這是一種非常有趣但又非常具有挑戰性的結合。」

魯德斯的音樂背景

魯德斯是一位備受讚譽的鍵盤手，根據《音樂雷達》雜誌的一項調查，他被認為是史上最偉大的鍵盤手。他以與獲得白金銷售和格萊美獎的前衛金屬樂隊夢劇院 (Dream Theater) 的合作而聞名，這支樂隊將在今年秋季展開40週年巡演。他也是一位獨立音樂人，最新專輯《Permission to Fly》於9月6日發行；同時也是一位教育者，通過詳細的在線教程分享他的技能；還是軟體公司Wizdom Music的創始人。他的音樂結合了嚴謹的古典基礎（他在9歲時便開始在茱莉亞音樂學院 (The Juilliard School) 學習鋼琴）以及即興創作的天賦和實驗的熱情。

與麻省理工學院的合作

去年春天，魯德斯成為麻省理工學院藝術、科學與技術中心 (CAST) 的訪問藝術家，與麻省理工學院媒體實驗室的響應環境研究小組合作，創造新的人工智慧音樂技術。魯德斯的主要合作夥伴是媒體實驗室的研究生蘭斯洛特·布蘭查德 (Lancelot Blanchard)，他研究生成性人工智慧在音樂中的應用（受到他自己古典鋼琴學習的啟發），以及佩里·納塞克 (Perry Naseck)，一位專注於互動、動態、光和時間媒介的藝術家和工程師。該項目的負責人是約瑟夫·帕拉迪索 (Joseph Paradiso) 教授，他是響應環境小組的負責人，也是魯德斯的長期粉絲。帕拉迪索於1994年加入媒體實驗室，擁有物理學和工程學的學位，並設計和製作合成器，以探索他的前衛音樂品味。他的小組有著通過新型用戶界面、傳感器網絡和非常規數據集來探索音樂前沿的傳統。

開發人工智慧音樂模型

研究人員的目標是開發一個機器學習模型，能夠表現魯德斯獨特的音樂風格和技巧。在9月由麻省理工學院出版社在線發表的一篇論文中，與麻省理工學院音樂技術教授埃蘭·埃戈齊 (Eran Egozy) 共同撰寫，他們闡述了他們所稱的「共生的音樂才能」的願景：讓人類和計算機在實時中二重奏，從每次表演中學習，並在現場觀眾面前創作出值得表演的新音樂。

魯德斯提供了布蘭查德訓練人工智慧模型所需的數據。他還提供了持續的測試和反饋，而納塞克則嘗試為觀眾可視化技術的方式。

納塞克表示：「觀眾習慣在許多音樂會上看到燈光、圖形和場景元素，因此我們需要一個平台，讓人工智慧能夠與觀眾建立自己的關係。」在早期的演示中，這表現為一個雕塑裝置，當人工智慧改變和弦時，燈光會隨之變化。在9月21日的音樂會上，安裝在魯德斯身後的花瓣形面板網格隨著人工智慧模型的活動和未來生成而活躍起來。

音樂會的精彩時刻

納塞克說：「如果你看到爵士音樂家互相對視並點頭，這會讓觀眾期待接下來會發生什麼。人工智慧實際上是在生成樂譜，然後演奏出來。我們如何展示接下來會發生什麼並進行溝通？」

納塞克在媒體實驗室從零開始設計和編程這個結構，並得到了布萊恩·梅頓 (Brian Mayton)（機械設計）和卡洛·曼多利尼 (Carlo Mandolini)（製作）的幫助，部分動作來自訪問學生馬達夫·拉瓦卡雷 (Madhav Lavakare) 開發的實驗性機器學習模型，該模型將音樂映射到空間中移動的點。這個動態雕塑能夠以微妙到戲劇性的速度旋轉和傾斜，讓人工智慧在音樂會上的貢獻與人類表演者的貢獻區分開來，同時傳達出它的情感和能量：例如，當魯德斯主導時，它輕輕搖擺，或在人工智慧模型生成莊嚴和弦時如花朵般展開和收縮。這是納塞克在表演中最喜歡的時刻之一。

納塞克回憶道：「最後，喬丹和卡米拉離開舞台，讓人工智慧完全探索自己的方向。這個雕塑讓這一時刻變得非常強大——它讓舞台保持活躍，並加強了人工智慧演奏的和弦的宏偉感。觀眾顯然被這一部分吸引，坐在座位的邊緣。」

魯德斯表示：「目標是創造一種音樂視覺體驗，展示可能性並提升音樂的水準。」

音樂的未來

布蘭查德以音樂變壓器作為模型的起點，這是一種由麻省理工學院助理教授安娜·黃 (Anna Huang) 開發的開源神經網絡架構，她於9月加入麻省理工學院的教職。

布蘭查德解釋說：「音樂變壓器的工作方式與大型語言模型相似。就像 ChatGPT 生成最可能的下一個單詞，我們的模型會預測最可能的下一個音符。」

布蘭查德使用魯德斯的演奏，包括低音線、和弦和旋律的變化，對模型進行微調，這些變化是魯德斯在他的紐約錄音室錄製的。在此過程中，布蘭查德確保人工智慧能夠即時響應魯德斯的即興創作。

布蘭查德說：「我們重新定義了這個項目，從模型假設的音樂未來出發，這些未來只有在喬丹當下的決策中才能實現。」

魯德斯表示：「人工智慧如何回應——我如何與它進行對話？這是我們正在做的最前沿部分。」

另一個優先考量出現了：「在生成性人工智慧和音樂領域，你會聽到像Suno或Udio這樣的初創公司，它們能夠根據文本提示生成音樂。這些都很有趣，但缺乏可控性。」布蘭查德說。「對喬丹來說，能夠預測即將發生的事情是很重要的。如果他看到人工智慧會做出他不想要的決定，他可以重新開始生成或有一個緊急停止開關，這樣他就能重新掌控。」

除了給魯德斯一個屏幕來預覽模型的音樂決策外，布蘭查德還設計了不同的模式，讓音樂家在演奏時可以啟動——例如，促使人工智慧生成和弦或主旋律，或啟動呼叫與回應的模式。

布蘭查德說：「喬丹是所有事情的策劃者。」

未來的研究方向

儘管這次的合作已經結束，但合作夥伴們看到許多繼續研究的可能性。例如，納塞克希望嘗試更多魯德斯可以直接與他的裝置互動的方式，例如使用電容感應等功能。「我們希望未來能夠更多地利用他的微妙動作和姿勢。」納塞克說。

雖然麻省理工學院的合作專注於魯德斯如何使用這個工具來增強自己的表演，但很容易想像其他應用。帕拉迪索回憶起與這項技術的早期接觸：「我演奏了一組和弦序列，而喬丹的模型正在生成旋律。就像有一隻音樂的「蜜蜂」在我鋪設的旋律基礎上飛舞，做著喬丹會做的事情，但又受到我演奏的簡單進程的限制。」他回憶道，臉上流露出當時的喜悅。「你將會看到為你最喜愛的音樂家設計的人工智慧插件，你可以將它們帶入自己的作品，並用一些旋鈕來控制細節。」他預測道。「這就是我們正在開啟的世界。」

魯德斯也希望探索教育用途。因為他錄製的樣本與他用於學生的耳訓練練習相似，他認為這個模型將來可能會用於教學。「這項工作不僅僅具有娛樂價值。」他說。

進入人工智慧的領域對於魯德斯對音樂技術的興趣來說是自然而然的進展。「這是下一步。」他相信。然而，當他與其他音樂家討論這項工作時，他對人工智慧的熱情常常會遇到阻力。「我能理解或同情感到受到威脅的音樂家，我完全明白。」他說。「但我的使命是成為推動這項技術朝向積極事物的人之一。」

帕拉迪索說：「在媒體實驗室，思考人工智慧和人類如何共同受益是非常重要的。人工智慧將如何提升我們所有人？理想情況下，它將像許多技術所做的那樣——將我們帶入一個更有能力的視野。」

帕拉迪索補充道：「喬丹走在前面。一旦他建立起來，其他人就會跟隨。」

與麻省理工學院的即興演奏

在魯德斯的訪問之前，媒體實驗室就已經引起了他的注意，因為他想試用由響應環境的另一位成員，紡織研究員伊爾曼迪·維卡索諾 (Irmandy Wickasono) 博士創造的編織鍵盤。從那一刻起，魯德斯說：「對我來說，這是一個發現的旅程，了解麻省理工學院音樂界正在進行的酷事。」

在去年春天的兩次劍橋之行中（在他的妻子、戲劇和音樂製作人丹妮爾·魯德斯 (Danielle Rudess) 的協助下），魯德斯審查了帕拉迪索電子音樂控制器課程的最終項目，課程大綱中包括了他自己過去表演的視頻。他將一個名為Osmose的新手勢驅動合成器帶到埃戈齊教授（他共同創作了視頻遊戲《吉他英雄 (Guitar Hero)》）教授的互動音樂系統課上。魯德斯還向作曲課的學生提供了即興創作的技巧；與麻省理工學院筆記本電腦合奏團和藝術學者計劃的學生音樂家一起演奏他與斯坦福大學研究人員共同創作的觸控音樂樂器GeoShred；並在麻省理工學院空間聲音實驗室體驗沉浸式音頻。在他9月份最近一次訪問校園時，他為麻省理工學院的艾默森/哈里斯計劃的鋼琴家教授了一堂大師班，該計劃為67名學者和研究員提供音樂專業的支持。

魯德斯說：「每次來到大學，我都會感到一種興奮。我感受到，哇，我所有的音樂想法、靈感和興趣都以這種非常酷的方式聚集在一起。」