麻省理工學院學生的作品重新定義人類與人工智慧的合作 | 麻省理工學院新聞

想像一下

想像有一個音響，可以追蹤你的每一個動作，並根據你的舞蹈風格建議音樂。這就是「成為節拍」的想法，這是麻省理工學院 (MIT) 建築系 Marcelo Coelho 教授所教的 4.043/4.044 課程 (互動智慧) 中的幾個專案之一，並在 2024 年 12 月的第 38 屆 NeurIPS (神經資訊處理系統) 會議上展示。NeurIPS 是一個競爭激烈且享有盛譽的會議，專注於人工智慧和機器學習的研究與科學，吸引了超過 16,000 名與會者聚集在溫哥華，並成為展示尖端發展的主要場所。

課程探索

這門課程探討了大型語言物件的新興領域，以及人工智慧如何延伸到物理世界。「成為節拍」改變了舞蹈的創意可能性，而其他學生的作品則涵蓋音樂、故事講述、批判性思維和記憶等學科，創造出生成式體驗和人機互動的新形式。這些專案共同展示了人工智慧的更廣泛願景：不僅僅是自動化，而是催化創造力、重塑教育和重新想像社會互動。

成為節拍

「成為節拍」是由麻省理工學院機械工程與設計學生 Ethan Chang 和音樂學生 Zhixing Chen 共同創作的，這是一個由人工智慧驅動的音響，能根據舞者的動作建議音樂。舞蹈歷史上一直受到音樂的指導，但舞蹈創作音樂的概念卻很少被探索。

「成為節拍」為人類與人工智慧在自由舞蹈上合作創造了一個空間，使舞者重新思考舞蹈與音樂之間的傳統關係。它使用 PoseNet 來描述動作，並為大型語言模型提供資料，使其能分析舞蹈風格並查詢 API 以找到相似風格、能量和節奏的音樂。與音響互動的舞者表示，他們對藝術表達有更多的控制，並形容這個音響是一種發現舞蹈風格和創意編舞的新方法。

給你的謎題

「給你的謎題」是由 Mrinalini Singha SM ’24（藝術、文化與科技項目的畢業生）和哈佛大學設計研究生院的 Haoheng Tang 共同創作的，這是一個旨在培養年輕學習者批判性思維和事實查核技能的教育遊戲。這個遊戲利用大型語言模型 (LLM) 和可觸摸的介面，創造出沉浸式的調查體驗。玩家作為公民事實查核者，回應由遊戲介面生成的「新聞警報」。通過插入卡帶組合來提示後續的「新聞更新」，他們在模糊的情境中導航，分析證據，並權衡矛盾的信息以做出明智的決策。

這種人機互動體驗挑戰了我們的新聞消費習慣，通過消除觸控螢幕介面，取而代之的是一種觸感豐富的類比設備，替代了不斷滾動和快速閱讀。通過結合慢媒體的優勢與新生成媒體，這個遊戲促進了深思熟慮的互動，同時幫助玩家更好地理解和挑戰當今極化的媒體環境，在這裡，錯誤信息和操控性敘事盛行。

記憶顯微鏡

「記憶顯微鏡」是麻省理工學院媒體實驗室研究合作者 Keunwook Kim 創作的，這是一個通過將面對面互動的深刻人類經驗與先進的人工智慧技術相結合來創造集體記憶的裝置。受到我們如何使用顯微鏡和望遠鏡來檢查和發現隱藏和看不見的細節的啟發，記憶顯微鏡允許兩個用戶「看進」彼此的臉，利用這種親密的互動作為創造和探索共享記憶的入口。

這個裝置利用像 OpenAI 和 Midjourney 等人工智慧模型，引入不同的美學和情感解釋，從而形成一個動態的集體記憶空間。這個空間超越了傳統共享相冊的限制，提供了一個流動的、互動的環境，在這裡，記憶不僅僅是靜態的快照，而是活生生的、隨著用戶之間的持續關係而演變的敘事。

敘事機器

「敘事機器」是由哈佛大學設計研究生 Xiying (Aria) Bao 和 Yubo Zhao 創作的，這是一個互動投影儀，通過影子戲劇使用大型語言模型共同創作和共同表演兒童故事。用戶可以按下快門來「捕捉」他們想要出現在故事中的主角，並將手影（如動物形狀）作為主要角色的輸入。系統然後隨著新影子角色的引入發展故事情節。故事通過投影儀出現，作為影子戲劇的背景，同時通過揚聲器講述，當用戶轉動手搖把時，實時「播放」。通過將視覺、聽覺和身體互動結合在一個系統中，這個專案旨在激發影子遊戲故事講述的創造力，並促進多模態的人機合作。

完美語法

「完美語法」是 Karyn Nakamura ’24 創作的一部視頻藝術作品，探討運動和視頻背後的語法邏輯。通過使用人工智慧操控視頻片段，這個專案探索了運動和時間的流動性如何被機器模擬和重建。Nakamura 的作品受到哲學探究和藝術實踐的啟發，質疑感知、技術和塑造我們世界經驗的運動之間的關係。通過計算過程重新想像視頻，Nakamura 探索了機器如何理解和表現時間和運動的流逝的複雜性。