作為這個世代中為數不多的擬真賽車游戲,《GT賽車Sport》的玩家們可能從來沒有想過,自己玩的游戲,有天會登上世界頂級科學期刊《自然》(Nature)的封面。
在昨天,索尼公布了一款由其旗下AI部門開發的人工智能技術,同時它也相應地成為了本周《自然》的“封面人物”,而這個人工智能的成就,是在《GT賽車Sport》中擊敗了全球一流賽車游戲選手們。
Nautre第7896期封面
或者,用“征服”這個詞來形容更為合適。在索尼演示的四位AI車手與四名職業賽車玩家的對決中,冠軍AI的最高圈速比人類中的最優者快了兩秒有余。對一條3.5英里長度的賽道而言,這個優勢一如AlphaGo征服圍棋。
在近五年的研發時間里,這個由索尼AI部門、SIE還有PDI工作室(也就是《GT賽車》開發商)共同研發的AI完成了這個目標。
索尼為這個AI起名為GT Sophy。“索菲”是個常見的人名,源自希臘語σοφ?α,意為“知識與智慧”。
AI在游戲中打敗人類,并不是一件稀奇事。OpenAI在“冥想訓練”了成千上萬場DOTA2后擊敗過當時的Ti8冠軍OG,谷歌的AlphaStar也曾面對《星際爭霸2》的頂級職業選手時表現過碾壓態勢,而我們每個普通玩家,也都嘗過“電腦[瘋狂的]”的苦頭。
2019年,OpenAI曾經在僅開放部分英雄選用的限制條件下擊敗過OG
但這些“打敗”并非一回事。要明白GTS中的AI車手Sophy意味著什么,首先要明確Sophy和其一個單純“你跑不過的AI”有什么區別。
對過往賽車游戲里的AI而言,盡管呈現形式都是游戲中非玩家控制的“智能體”,但傳統意義上的AI車手通常只是一套預設的行為腳本,并不具備真正意義上的智能。
傳統AI的難度設計一般也是依賴“非公平”的方式達成的,比如在賽車游戲中,系統會盡可能削弱甚至消除AI車的物理模擬,讓AI車需要處理的環境參數遠比玩家簡單。
而要塑造更難以擊敗的AI敵人,也不過是像RTS游戲中的AI通過暗中作弊的方式偷經濟暴兵一樣,讓AI車在不被注意的時刻悄悄加速。
所以對于具備一定水平的玩家而言,賽車游戲里的傳統AI在行為邏輯和策略選擇上幾乎沒有值得參考的點,遑論職業賽車游戲選手。
而Sophy則是和AlphaGo一樣,通過深度學習算法,逐漸在模擬人類的行為過程中達到變強:學會開車,適應規則,戰勝對手。
這種AI帶給玩家的,完全是“在公平競爭中被擊敗”的體驗。在被Sophy擊敗后,一位人類車手給出了這樣的評價:“(Sophy)當然很快,但我更覺得這個AI有點超乎了機器的范疇……它像是具備人性,還做出了一些人類玩家從未見過的行為?!?/p>
這難免再次讓人聯想到重新改寫了人類對圍棋理解的AlphaGo。
相對于圍棋這種信息透明的高度抽象游戲,玩法維度更多、計算復雜度更高的電子游戲,在加入深度學習AI之后,其實一直很難確?!肮礁偧肌钡母拍?。
例如在2019年征戰《星際爭霸2》的AlphaStar,基本沒有生產出新的戰術創意,只是通過無限學習人類選手的戰術,再通過精密的多線操作達成勝利——即便人為限制了AlphaStar的APM,AI完全沒有無效操作的高效率也并非人類可比。
這也是為什么在AlphaStar與人類職業選手的對抗記錄里,當AI用“三線閃追獵”這樣的神仙表演擊敗波蘭星靈選手MaNa后,并不服氣的MaNa在賽后采訪中說出了“這種情況在同水平的人類對局中不可能出現”這樣的話。
AlphaStar用追獵者“逆克制關系”對抗MaNa的不朽者部隊
同樣,《GT賽車》也是一款與《星際爭霸2》具備同樣復雜度的擬真賽車游戲。
在專業賽車玩家的眼中,路線、速度、方向,這些最基本的賽車運動要素都可以拆解為無數細小的反應和感受,車輛的重量、輪胎的滑移、路感的反饋……每條彎道的每次過彎,都可能存在一個絕佳的油門開度,只有最頂級的車手可以觸摸到那一縷“掌控”的感覺。
在某種意義上來講,這些“操縱的極限”當然能夠被物理學解釋,AI能掌握的范圍顯然要大于人類。所以,Sophy的反應速度被限制在人類的同一水平,索尼為它分別設置了100毫秒、200毫秒和250毫秒的反應時間——而人類運動員在經過練習后對特定刺激的反應速度可以做到150毫秒左右。
無疑,這是一場比AlphaStar更公平的戰斗。
和Sophy為數眾多的AI前輩一樣,它也是利用神經網絡等深度學習算法來進行駕駛技巧的訓練。
Sophy在訓練環境中會因為不同的行為遭受相應獎勵或者懲罰——高速前進是好的,超越前車則更好;相應地,出界或者過彎時候撞墻就是“壞行為”,AI會收獲負反饋。
在上千臺串聯起的PS4組成的矩陣中,Sophy經受了無數次模擬駕駛訓練,在上述學習里更新自己對《GT賽車Sport》的認知。從一個不會駕駛的“嬰兒”到開上賽道,Sophy花費了數個小時的時間;一兩天后,從基礎的“外內外”行車線開始,Sophy已經幾乎學會了所有常見的賽車運動技巧,超越了95%的人類玩家。
索尼AI部門為Sophy搭建的“訓練場”
然而,賽車并不是一個人的游戲。即便Sophy在去年7月份的比賽中,已經可以沒有其他賽車的情況下擁有超出頂級人類選手的計時賽成績,但在真實的多人游戲中,Sophy還需要學會與對手進行對抗上的博弈,理解其他車手的行為邏輯。
因此,索尼AI部門的科研人員對Sophy進行了更多的“加練”,比如面對其他車時如何插線超車、阻擋卡位。到最后,Sophy甚至還被“教育”到能夠理解和遵守賽車運動中的比賽禮儀——比如作為慢車時進行讓車,同時避免不禮貌的惡意碰撞。
賽車游戲中的AI車,一般即便會嘗試躲避與玩家擦碰,其實現方式也只是不自然地閃躲。而Sophy呈現出的“比賽理解”,都是依靠腳本運行的傳統賽車AI無法做到的。
到了10月,Sophy已經可以在正式的同場比賽中擊敗最頂級的人類選手。
索尼邀請的四位人類車手,其中包括GT錦標賽三冠王宮園拓真
比如第一場在Dragon Trail(龍之徑)上進行的比賽。作為《GT賽車Sport》的駕駛學校尾關,每個GTS玩家應該都相當熟悉這條賽道(以及DLC中的“漢密爾頓挑戰”)。在數萬個小時的訓練過后,排名第一的Sophy車手已經可以踩著絕對的最優路線保持全程第一。
而在四個Sophy與四位人類車手角逐的第二個比賽日中,AI們的優勢進一步擴大了——幾乎達成了對頂級人類玩家的碾壓。
如果只是在路線的選擇和判斷上強過人類,用更穩定的過彎來積累圈速優勢,這可能還沒什么大不了的。
但研究者們認為,Sophy幾乎沒有利用在用圈速上的絕對優勢來甩開對手(也就是AI身為非人類在“硬實力”上更強的部分),反而在對比賽的理解上也超過了人類玩家,比如預判對手路線的情況下進行相應的對抗。
在《自然》論文所舉的案例中,兩名人類車手試圖通過合法阻擋來干擾兩個Sophy的首選路線,然而Sophy成功找到了兩條不同的軌跡實現了超越,使得人類的阻擋策略無疾而終,Sophy甚至還能想出有效的方式來擾亂后方車輛的超車意圖。
Sophy還被證明能夠在模擬的薩爾特賽道(也就是著名的“勒芒賽道”)上執行一個經典的高水平動作:快速駛出前車的尾部,增加對前車的阻力,進而超越對手。
更令研究者稱奇的是,Sophy還搗鼓出了一些非常規的行為邏輯,聽上去就像AlphaGo用出新的定勢一樣。通常,賽車手接受的教育都是在過彎時“慢進快出”,負載只在兩個前輪上。但Sophy并不一定會這么做,它會在轉彎時選擇性制動,讓其中一個后輪也承受負載。
而在現實中,只有最頂級的F1車手,比如漢密爾頓和維斯塔潘,正在嘗試使用這種三個輪胎快速進出的技術——但Sophy則完全是在游戲世界中自主學會的。
曾經取得三次GT錦標賽世界冠軍的車手宮園拓真在與AI的對抗中落敗后說,“Sophy采取了一些人類駕駛員永遠不會想到的賽車路線……我認為很多關于駕駛技巧的教科書都會被改寫。”
區別于以往出現在電子游戲中的先進AI們(比如AlphaStar),Sophy的研究顯然具備更廣義、更直接的現實意義。
參與《自然》上這篇論文撰寫的斯坦福大學教授J.Christian Gerdes就指出,Sophy的成功說明神經網絡在自動駕駛軟件中的作用可能比現在更大,在未來,這個基于《GT賽車》而生的AI想染會在自動駕駛領域提供更多的幫助。
索尼AI部門的CEO北野宏明也在聲明中表示,這項AI研究會給高速運作機器人的研發以及自律型駕駛技術帶來更多的新機會。
Sophy項目官網的介紹
但如果我們將目光挪回作為擬真賽車游戲的《GT賽車》本身,Sophy的出現,對大眾玩家和職業車手而言同樣具備不菲的意義。
正如文章前面所說,在目前市面上大多數擬真賽車游戲中,“傳統AI”已經是一個完全不能帶給玩家任何樂趣的事物。這種依賴不公平條件達成的人機對抗,與賽車游戲開發者希望帶給玩家的駕駛體驗是相悖的,人類玩家也無法從中獲得任何教益。
在索尼AI部門發布的紀錄片中,“GT賽車之父”山內一典就表示,開發無與倫比的AI可能是一項了不起的技術成就,但這對普通玩家來說可能不是什么直白的樂趣。
因此,山內承諾在未來的某個時候,索尼會將Sophy帶入到三月份即將發售的《GT賽車7》中。當Sophy能夠更加了解賽場上的環境和條件,判斷其他車手的水平,一個這樣智能又具備風度的AI,就能夠在與人類比賽時,為玩家提供更多真實的快樂。
在擬真賽車游戲逐漸“小圈子化”,眾多廠商都做不好面對純新玩家的入門體驗的今天,或許一個AI老師的存在,有機會能給虛擬世界中的擬真駕駛帶來更多的樂趣,就像《GT賽車4》的宣傳片片頭所說,“體驗汽車生活”。
這可能才是一個基于游戲而生的AI能為玩家帶來的最重要的東西——如同山內一典對Sophy項目的評論, “我們不是為了打敗人類而制造人工智能——我們追求人工智能,是為了最終更好地了解人類?!?/p>
本文來自微信公眾號“游戲研究社”(ID:yysaag),作者:AriaX,36氪經授權發布。