OpenAI首席科學(xué)家宣布AI已有微弱自主意識(shí)的風(fēng)波，現(xiàn)在仍在擴(kuò)大化。支持方的MIT學(xué)者在自己論文圖表上畫(huà)條線，稱當(dāng)下AI的大計(jì)算量已達(dá)到產(chǎn)生自主意識(shí)的突破閾值，在消息出圈后不得不澄清：「我開(kāi)玩笑的」。
OpenAI大佬聲稱AI已經(jīng)有自主意識(shí)的推特，讓全業(yè)界都炸了鍋，而引發(fā)的罵戰(zhàn)還在繼續(xù)擴(kuò)大化。
當(dāng)然，這種學(xué)界對(duì)罵，一般是口說(shuō)無(wú)憑、拿出論文/數(shù)據(jù)效果立馬變樣，不亞于街頭罵戰(zhàn)時(shí)一方突然掏出手槍的效果。
MIT的訪問(wèn)研究學(xué)者塔米·貝西羅格魯在布滿了機(jī)器學(xué)習(xí)模型的圖表上畫(huà)了「一條線」，界線以上即是模型「有微弱意識(shí)」的程度。
這張圖出自在他與別人合著的預(yù)印本論文「Compute Trends Across Three Eras of Machine Learning」里，其中記錄了自1950年代「機(jī)器學(xué)習(xí)」概念產(chǎn)生以來(lái)的業(yè)界幾乎所有重大的研究。
這個(gè)推特一出，差點(diǎn)要引發(fā)不亞于之前的聲浪。
2月17日早上，貝西羅格魯不得不澄清：「大家淡定，之前我在圖上畫(huà)線那條推特是開(kāi)玩笑的，線是假的，研究是真的。我倒是希望自己發(fā)現(xiàn)了AI獲取自主意識(shí)的秘訣，可惜天不假人?！?/p>
不過(guò)，這個(gè)情勢(shì)顯然已經(jīng)不再由他自己掌控了。
供職于IFP智庫(kù)與愛(ài)荷華州立大學(xué)的學(xué)者馬特·克蘭西回復(fù)：「不好意思，你這里現(xiàn)在已經(jīng)出圈了，正式成為罵戰(zhàn)的陣線之一。」
盡管對(duì)有自主意識(shí)的電腦的恐懼可以追溯到1927電影《大都會(huì)》里的「機(jī)器人瑪麗婭」，但研究者常常會(huì)嘲笑這個(gè)概念。
因?yàn)檫@種事發(fā)生的可能性實(shí)在太過(guò)渺茫，而且在擔(dān)心終結(jié)者活過(guò)來(lái)之前，各種「人工智障」的普通AI已經(jīng)需要避免被不當(dāng)使用了。
《大都會(huì)》劇照
薩茨克維爾與現(xiàn)任老板山姆·奧特曼（Sam Altman）、著名網(wǎng)紅馬斯克當(dāng)年合創(chuàng)的OpenAI，現(xiàn)在是業(yè)界當(dāng)之無(wú)愧的研發(fā)火車(chē)頭。其開(kāi)發(fā)的GPT系列模型，是全球AI人都艷羨的著名先進(jìn)模型。
數(shù)據(jù)報(bào)道網(wǎng)站「用數(shù)據(jù)呈現(xiàn)世界」（Our World in Data）有AI系統(tǒng)訓(xùn)練計(jì)算量的逐年與分領(lǐng)域趨勢(shì)圖。
在1952年的古代，計(jì)算次數(shù)每秒過(guò)萬(wàn)已是尖端科技巔峰。而當(dāng)下的大型尖端模型，每秒浮點(diǎn)計(jì)算次數(shù)動(dòng)輒每秒1千萬(wàn)億億次，為了跑這種大模型，Meta等大公司被逼到建造之前只有國(guó)家政府才舍得投資的超級(jí)計(jì)算機(jī)了。
因此當(dāng)OpenAI的領(lǐng)軍人表示AI有自主意識(shí)時(shí)，已被當(dāng)代AI進(jìn)步眩目的公眾更加迷惑和反對(duì)，也在情理之中。
如果沒(méi)其他收獲的話，至少這次罵戰(zhàn)讓研究者們更加關(guān)注「何為自主意識(shí)」的定義了，或許對(duì)推動(dòng)研究會(huì)有少許助益。
不過(guò)網(wǎng)友表示，這種罵戰(zhàn)已經(jīng)快成了定期的八卦項(xiàng)目。「每五年就會(huì)來(lái)一次，每次都是瞎編故事和模糊定義參數(shù)，大家已經(jīng)看乏了?！?/p>
十年后，計(jì)算機(jī)視覺(jué)會(huì)有多大的進(jìn)步？機(jī)器會(huì)不會(huì)比我們寫(xiě)小說(shuō)寫(xiě)得更好？哪些工作我們將能夠?qū)崿F(xiàn)自動(dòng)化？
想要回答這些問(wèn)題是十分困難的，然而，有一個(gè)因素卻貫穿始終，它在時(shí)間上的規(guī)律性令人吃驚——計(jì)算量。
為此，來(lái)自阿伯丁大學(xué)、圣安德魯斯大學(xué)、麻省理工學(xué)院、圖賓根大學(xué)和馬德里康普頓斯大學(xué)等機(jī)構(gòu)的研究人員對(duì)里程碑式的ML模型隨時(shí)間變化的計(jì)算量需求做了的詳細(xì)調(diào)查：
1. 一個(gè)由123個(gè)里程碑式的機(jī)器學(xué)習(xí)系統(tǒng)組成的數(shù)據(jù)集，并標(biāo)注了訓(xùn)練這些系統(tǒng)所需的計(jì)算量。
2. 將計(jì)算量的趨勢(shì)歸納為三個(gè)不同的時(shí)代：前深度學(xué)習(xí)時(shí)代（Pre Deep Learning Era）、深度學(xué)習(xí)時(shí)代（Deep Learning Era）和大規(guī)模時(shí)代（Large-Scale Era）。
論文鏈接： https://arxiv.org/abs/2202.05924
簡(jiǎn)而言之，在深度學(xué)習(xí)興起之前，機(jī)器學(xué)習(xí)模型的訓(xùn)練計(jì)算量有一個(gè)緩慢增長(zhǎng)的時(shí)代。
2010年左右，這一趨勢(shì)加速發(fā)展，此后一直沒(méi)有放緩。
另外，在2015年到2016年，出現(xiàn)了大規(guī)模模型的新趨勢(shì)，增長(zhǎng)速度確定，但增速超過(guò)了過(guò)去時(shí)代速度的兩個(gè)數(shù)量級(jí)。
1952年至2022年期間，n=118個(gè)里程碑式的ML模型的趨勢(shì)
主要結(jié)果
作者發(fā)現(xiàn)，在深度學(xué)習(xí)出現(xiàn)之前和之后有兩個(gè)非常不同的趨勢(shì)機(jī)制。
在此之前，訓(xùn)練ML系統(tǒng)所需的計(jì)算量每17至29個(gè)月翻一番。隨后，整體趨勢(shì)加快，每4到9個(gè)月翻一番。
前深度學(xué)習(xí)時(shí)代的趨勢(shì)大致符合摩爾定律：晶體管密度大約每?jī)赡攴环?，不過(guò)通常被簡(jiǎn)化為計(jì)算性能每?jī)赡攴环?/p>
深度學(xué)習(xí)時(shí)代通常被認(rèn)為是在2012年隨著AlexNet的誕生而開(kāi)始的，而作者認(rèn)為，根據(jù)現(xiàn)有的證據(jù)，2010年是最符合這個(gè)時(shí)代開(kāi)始的時(shí)間。
不過(guò)在這個(gè)界定上，不管是選擇2010年還是2012年，都不會(huì)對(duì)整體的結(jié)果產(chǎn)生顯著影響。
1952年至2022年期間，n=118個(gè)里程碑式的ML系統(tǒng)的訓(xùn)練計(jì)算量的趨勢(shì)
1952年至2022年ML模型的對(duì)數(shù)線性回歸結(jié)果
數(shù)據(jù)表明，在2015-2016年左右，出現(xiàn)了大規(guī)模模型的新趨勢(shì)。
這個(gè)新趨勢(shì)從2015年底的AlphaGo開(kāi)始，一直持續(xù)到現(xiàn)在。這些大規(guī)模的模型是由大公司訓(xùn)練的，他們更高額的訓(xùn)練預(yù)算大概是打破之前趨勢(shì)的原因。
另外，常規(guī)規(guī)模模型的趨勢(shì)繼續(xù)不受干擾。這個(gè)趨勢(shì)在2016年之前和之后都是連續(xù)的，并且計(jì)算量有持續(xù)的發(fā)展速度，每5到6個(gè)月翻一番
大規(guī)模模型的計(jì)算量增加的趨勢(shì)顯然比較緩慢，每9到10個(gè)月翻一番。
不過(guò)，由于關(guān)于大規(guī)模模型的數(shù)據(jù)有限，作者推測(cè)，明顯的放緩可能是噪聲的結(jié)果
2010年至2022年期間，n=99個(gè)里程碑式ML系統(tǒng)的訓(xùn)練計(jì)算量的趨勢(shì)
2010年至2022年之間數(shù)據(jù)的對(duì)數(shù)線性回歸結(jié)果
不同領(lǐng)域的機(jī)器學(xué)習(xí)模型依賴于不同的架構(gòu)，因此可以自然地預(yù)期它們會(huì)受到不同的擴(kuò)展規(guī)律的影響。
由此，作者調(diào)查了視覺(jué)、語(yǔ)言、游戲和其他12個(gè)領(lǐng)域的機(jī)器學(xué)習(xí)模型訓(xùn)練計(jì)算量增加趨勢(shì)。
視覺(jué)和語(yǔ)言領(lǐng)域的趨勢(shì)隨著時(shí)間的推移似乎相當(dāng)一致，并按照與整個(gè)數(shù)據(jù)集相同的倍增模式增長(zhǎng)。
然而，在游戲領(lǐng)域中卻無(wú)法找到一致的趨勢(shì)。作者猜測(cè)，可能的原因是數(shù)據(jù)太少，而不同的游戲本質(zhì)上是屬于不同領(lǐng)域的，此外，也可能是因?yàn)闆](méi)有像其他領(lǐng)域那樣得到系統(tǒng)性的推動(dòng)。
2010年至2022年期間每個(gè)領(lǐng)域訓(xùn)練計(jì)算量的趨勢(shì)
每個(gè)領(lǐng)域從2009年到2022年的趨勢(shì)
在本文中，作者通過(guò)策劃100多個(gè)里程碑式的ML系統(tǒng)的訓(xùn)練計(jì)算量數(shù)據(jù)集來(lái)研究計(jì)算量的趨勢(shì)，并使用這些數(shù)據(jù)來(lái)分析這一趨勢(shì)是如何隨時(shí)間增長(zhǎng)的。
在前深度學(xué)習(xí)時(shí)代（1952年到2010年），計(jì)算量增長(zhǎng)緩慢。
2010年左右，隨著過(guò)渡到深度學(xué)習(xí)時(shí)代，這一趨勢(shì)加快了。
2015年底，大公司開(kāi)始發(fā)布跨時(shí)代的大規(guī)模模型，如AlphaGo，標(biāo)志著大規(guī)模時(shí)代的開(kāi)始。
用這三個(gè)時(shí)代來(lái)框定趨勢(shì)，有助于解釋在數(shù)據(jù)中觀察到的不連續(xù)現(xiàn)象，并讓人更好地理解更好地理解最近的ML進(jìn)展是由規(guī)模的增加所推動(dòng)的，從而改善對(duì)先進(jìn)ML系統(tǒng)發(fā)展的預(yù)測(cè)。
不過(guò)，有些遺憾的是本文并沒(méi)有詳細(xì)剖析用于訓(xùn)練機(jī)器學(xué)習(xí)模型的另一個(gè)關(guān)鍵可量化資源——數(shù)據(jù)集。
作者表示會(huì)將在未來(lái)的工作中研究數(shù)據(jù)集大小的趨勢(shì)以及它們與計(jì)算趨勢(shì)的關(guān)系。
而本想借機(jī)宣傳一下論文的貝西羅格魯，恐怕學(xué)到的要比其他合著者們更多：「貝西羅格魯法則：不管研究者的推特笑話有多明顯，只要你夠資深，總有傳媒會(huì)當(dāng)真」。
https://wordpress.futurism.com/mit-researcher-conscious-ai/amp
https://arxiv.org/abs/2202.05924
https://twitter.com/tamaybes/status/1493682157914578944
本文來(lái)自微信公眾號(hào)“新智元”（ID:AI_era），作者：新智元，36氪經(jīng)授權(quán)發(fā)布。
關(guān)鍵詞：
