神譯局是36氪旗下編譯團隊，關注科技、商業、職場、生活等領域，重點介紹國外的新技術、新觀點、新風向。
(資料圖)
編者按：在電影和小說中，我們看到過人工智能統治人類的場景，并認為這離我們很遙遠。但實際上，隨著人工智能的發展，對人工智能的擔心可能不再是杞人憂天。本文來自編譯，希望對您有所啟發。
PHOTO-ILLUSTRATION: WIRED STAFF; GETTY IMAGES
本文改編自布魯斯·施奈爾（Bruce Schneier）的《黑客思想》（A Hacker’s Mind）。
《黑客思想》（ A Hacker’s Mind: How the Powerful Bend Society’s Rules, and How to Bend Them Back）的封面，圖片來源：COURTESY OF W. W. NORTON & COMPANY
人工智能黑客的未來有多現實？這取決于被建模和被黑客攻擊的特定系統。對于人工智能來說，所有規則都必須以計算機能夠理解的方式規則化。目標（在人工智能中被稱為目標函數）需要建立起來，人工智能需要得到關于“自己做得如何”的反饋，才能提高自身的表現。
有時這是只一件小事。對于圍棋這樣的游戲來說，這很簡單。規則、目標和反饋（贏了還是輸了？）都是精確指定的，除此之外沒有什么模糊地帶。GPT-3 人工智能可以寫出連貫的文章，因為它的“世界”就只有文本。這就是為什么目前大多數黑客的例子都來自模擬環境，因為這些環境都是人為的和受約束的，所有規則都是指定給人工智能的。
重要的是系統中的模糊程度。我們可以想象將世界各地的稅法輸入人工智能，因為稅法是由確定欠稅金額的公式組成的。甚至還有一種編程語言叫 Catala，它被優化來編碼法律。即便如此，所有的法律都有一些模糊性。這種模糊性很難轉化為代碼，所以 AI 很難處理。所以盡管存在人工智能，但在可預見的未來，稅務律師還是可以實現充分就業。
大多數人類系統甚至更加模糊。很難想象一個人工智能，能在現實生活中做出像彎曲曲棍球棒這樣的運動技巧。人工智能不僅要理解游戲規則，還要理解人類生理機能、球桿和冰球的空氣動力學，等等。這并非不可能，但這比想出一個新穎的圍棋走法要困難得多。
在復雜的社會系統中，這種潛在的模糊性為對抗人工智能黑客提供了短期的安全防御。在機器人真正參與這些運動之前，或者在開發出能夠在所有交叉維度上廣泛理解世界的通用人工智能之前，我們不會有人工智能生成的“體育黑客”。“賭場游戲黑客”或“立法程序黑客”也存在類似的挑戰。人工智能還需要很長一段時間才能能夠建模和模擬人們的工作方式，無論是個人還是群體。
但是，盡管一個充滿人工智能黑客的世界仍然是一個科幻小說中的場景，但這并不只是一個愚蠢的科幻小說問題。人工智能技術的發展非常迅猛，其能力的飛躍是不穩定和間斷的。我們認為很難的事情可能變得很容易，我們認為應該很容易的事情也可能變得很難。上世紀 80 年代初，當我還是一名大學生時，老師告訴我們，圍棋永遠不可能被計算機掌握，因為它非常復雜：不是規則復雜，而是可能的走法數量太多。而今天，人工智能變成了圍棋大師。
因此，雖然人工智能可能主要是“明天的問題”，但我們今天已經看到了它的前兆。我們現在就需要開始思考可執行的、可理解的、合乎道德的解決方案，因為如果我們對人工智能有什么期待的話，那就是我們會比預期中更早地需要這些解決方案。
產生人工智能黑客的第一個地方可能是金融系統，因為這些金融規則在設計上是可以用算法處理的。高頻交易算法就是一個原始的例子，其在未來會變得更加復雜。我們可以想象一下這樣一個場景：給人工智能配備世界上所有的實時金融信息，加上世界上所有的法律法規，加上新聞推送和所有我們認為可能相關的東西，然后給它設定“合法利潤最大化”的目標。我的猜測是，這個場景并不會很遙遠，其結果將是產生各種新奇的和完全意想不到的黑客行為。而且可能會有一些黑客行為超出人類的理解范圍，這意味著我們永遠不會意識到這些行為正在發生。
在短期內，我們更有可能看到人工智能與人類協作的黑客行為。人工智能可以識別出可能被黑客利用的漏洞，然后一個有經驗的會計師或稅務律師會利用他們的經驗和判斷力，來確定該漏洞是否可以被利用而獲利。
在幾乎所有的歷史中，黑客攻擊都是一種人類活動。進行新的黑客行為需要專業知識、時間、創造力和運氣。而當人工智能開始進行黑客攻擊時，情況就會發生變化。人工智能不會像人一樣受到同樣的約束或受到同樣的限制。它們不需要睡覺，它們會像外星人一樣思考，它們會以我們無法預料的方式入侵系統。
計算機已經在四個方面加速了黑客攻擊：速度、規模、范圍和復雜性。人工智能將進一步加劇這些趨勢。
首先，速度：人工入侵的過程有時需要幾個月或幾年，但人工智能的加入可能會將時間壓縮到幾天、幾個小時，甚至幾秒鐘。如果你給人工智能提供整個美國稅法，并命令它找出所有可以最小化個人稅賦的方法時，可能會發生什么？或者，在針對跨國公司的情境下，讓人工智能分析和優化全球的稅法呢？人工智能能否在沒有提示的情況下，發現在特拉華州注冊公司并在巴拿馬注冊船舶是明智的做法？它會發現多少我們還不知道的漏洞？幾十個？幾百個？幾千個？我們不知道，但我們可能會在未來十年內找到答案。
其次，規模：一旦人工智能系統開始進入黑客領域，它們就將能夠大規模利用黑客行為，而這種規模對人類來說是根本沒有準備好應對的。因此，當人工智能開始擠壓金融系統時，它們將主導這個領域。美國的信貸市場、稅法和法律總體上已經向富人傾斜，而人工智能將加速這種不平等。第一批為了追求利潤而入侵金融系統的人工智能，不會由具有平等意識的研究人員開發出來，而將由全球性銀行、對沖基金和管理咨詢公司開發出來。
接下來，范圍：我們有應對黑客的社會系統，但這些系統是在黑客還是人類的時候開發的。我們沒有任何治理系統可以快速有效地對數百個（更不用說數千個）新發現的稅收漏洞進行裁決。我們不可能這么快就給稅法打補丁。我們一直無法阻止人類利用 Facebook 來干擾民主，那么想象一下當人工智能這樣做的時候會發生什么，這會帶來巨大的挑戰。如果人工智能開始對金融系統進行意料之外、但合法的黑客攻擊，那么世界經濟將陷入瘋狂，復蘇將是漫長而痛苦的。
最后是復雜性：人工智能輔助黑客打開了復雜策略的大門，超越了那些可以由人類獨立思維設計的策略。人工智能的復雜統計分析可以揭示變量之間的關系，從而揭示可能的漏洞，而最好的人類戰略家和專家可能從未意識到這一點。這種復雜性可能使人工智能能夠部署顛覆目標系統多個層面的戰略。例如，一個旨在最大限度地提高政黨得票率的人工智能可能會調整經濟變量、競選信息和投票程序，從而操縱競選結果。這還不包括人工智能用來操縱股市、立法制度或公眾輿論的那些難以察覺的技巧。
以計算機的速度、規模、范圍和復雜性，黑客將成為我們這個社會無法再處理的問題。
我想起了電影《終結者》（Terminator）中的一個場景，凱爾·里斯（Kyle Reese）向莎拉·康納（Sarah Connor）描述正在追殺她的生化人：“不能和它討價還價，不能和它講道理。它不會感到憐憫、悔恨或恐懼。而且它絕對不會停止，永遠不會……”我們現在面對的并不是真正意義上的生化人，但當人工智能成為我們在黑客世界中的對手時，我們可能會發現，要跟上它尋找人類弱點的非人能力，同樣是件困難的事。
一些人工智能研究人員確實在擔心強大的人工智能會在多大程度上克服人類施加的限制，并有可能主宰社會。雖然這看起來像是一個瘋狂的猜測，但這種情況至少是值得考慮和預防的。
然而，在今天和不久的將來，這本書中描述的黑客行為將由強者對我們其他人實施。所有的人工智能，無論是在你的筆記本電腦上還是在機器人中，都是由其他人編寫的。雖然像 Alexa 這樣的聯網設備可以模仿成為你值得信賴的朋友，但不要忘記，它是為了銷售亞馬遜的產品而設計的。就像亞馬遜網站鼓勵你購買其自有品牌，而不是競爭對手的高質量商品一樣，它并不總是符合你的最佳利益。
在缺乏任何有意義的監管的情況下，我們真的無能為力，無法阻止人工智能黑客入侵的發生。我們需要接受這是不可避免的，并建立強大的治理結構，快速有效地做出反應。
這一挑戰提出了比“人工智能將如何發展或我們如何應對”更深刻、更困難的問題：哪些黑客行為是有益的？哪些是有害的？誰來決定呢？你可能仍然不想用技術霸主取代政治霸主。如果你相信預防原則，那么在黑客被納入社會系統之前，你可能希望有盡可能多的專家來對其進行測試和判斷。你還可能想要將這一原則進一步應用到使這些黑客成為可能的機構和結構上。
問題還在繼續。人工智能創造的黑客應該在本地范圍內進行管理，還是全球范圍內進行管理？由管理者管理還是由公民投票？或者有沒有辦法讓市場或民間團體來決定？我們設計的治理結構將賦予一些人和組織權力，來決定如何應對未來的黑客。我們需要確保這一權力被明智地行使。
譯者：Jane
關鍵詞：
