AI爬蟲戰爭威脅使網絡對所有人變得更加封閉

這些措施仍然提供即時保護。畢竟，人工智慧公司無法使用他們無法獲得的東西，無論法院對於版權和合理使用的裁決如何。但結果是，大型網站出版商、論壇和網站經常對所有爬蟲提高防範措施——即使那些沒有威脅的爬蟲也是如此。即使他們與想要保持數據獨占的人工智慧公司簽訂了有利可圖的合約，情況也是如此。最終，網路被劃分為越來越多的區域，越來越少的爬蟲受到歡迎。

我們可能會失去什麼

隨著這場貓捉老鼠的遊戲加速，大型玩家往往能夠比小型玩家持久。大型網站和出版商會在法庭上捍衛他們的內容，或是進行合約談判。而大型科技公司能夠負擔許可大型數據集或創建強大的爬蟲來繞過限制。但小型創作者，例如視覺藝術家、YouTube 教育者或部落客，可能會覺得他們只有兩個選擇：將內容隱藏在登入和付費牆後，或是完全下線。對於真正的使用者來說，這使得訪問新聞文章、查看他們喜愛創作者的內容，以及在網路上導航變得更加困難，因為每一步都可能要面對登入、訂閱要求和驗證碼。

也許更令人擔憂的是，與人工智慧公司簽訂的大型獨占合約正在將網路劃分得越來越細。每一筆合約都增加了網站保持獨占的動機，並阻止其他人訪問數據——無論是競爭者還是其他人。這可能會導致權力進一步集中在少數人工智慧開發者和數據出版商手中。未來只有大型公司能夠許可或爬取關鍵網路數據，將會壓制競爭，無法真正服務於使用者或許多版權持有者。

簡而言之，走這條路會縮小網路的生物多樣性。來自學術研究者、記者和非人工智慧應用的爬蟲可能會越來越被拒絕開放訪問。除非我們能夠培養一個對不同數據使用有不同規則的生態系統，否則我們可能會在網路上形成嚴格的邊界，對開放性和透明性造成代價。

雖然這條路不容易避免，但開放網路的捍衛者可以堅持制定法律、政策和技術基礎設施，明確保護非競爭性使用網路數據的權利，並同時保護數據創作者和出版商。這些權利並不矛盾。我們在爭取正確的數據訪問上有太多可以失去或獲得的東西。隨著網站尋找適應的方法，我們絕不能在商業人工智慧的祭壇上犧牲開放的網路。

Shayne Longpre 是麻省理工學院 (MIT) 的博士候選人，他的研究專注於人工智慧與政策的交集。他領導數據來源倡議。