最近這兩年，隨著AIGC大模型的崛起，整個社會掀起了一股強勁的AI浪潮。人們在關注AI，企業(yè)在擁抱AI，資本在追逐AI。凡是和AI有關的概念，都會吸引大量的目光。
那么，AI是如何一步一步走到今天的呢？它經(jīng)歷了哪些發(fā)展階段，又發(fā)生過哪些精彩的故事？今天這篇文章，我們就來仔細回顧一下，人類AI的發(fā)展歷程。人類對人造智能體的追求和暢想，最早可以追溯到古希臘時代。在古希臘神話中，火與工匠之神赫菲斯托斯，曾經(jīng)制作了一組金制的女機器人，“有心能解意，有嘴能說話，有手能使力，精通手工制造”。
在中國的古代史籍中，也出現(xiàn)過“人工智能”的影子。《列子·湯問篇》中，偃師向周穆王進獻了一個機械人，會唱歌、會跳舞，還會挑逗周穆王的嬪妃。周穆王醋意爆發(fā)，認為機械人是真人假扮，要殺掉偃師。偃師趕緊將機械人拆散，周穆公才罷休。
上面的這些文字記載，顯然都不靠譜。在遙遠且漫長的古代，以人類當時的技術水平，肯定是造不出智能體的。能造出一些簡單的機械（例如諸葛亮的木牛流馬），都已經(jīng)很了不起了。人們對智能體的寄望，很多都依托于鬼神等宗教信仰——將人的靈魂附身于機械，才能夠?qū)崿F(xiàn)“人工智能”。到了近現(xiàn)代，隨著工業(yè)革命的爆發(fā)，人類開始逐漸進入機械計算、電氣計算時代。計算能力的不斷增長，使得通過“算力”來驅(qū)動“智能”，成為一種可行選項。17世紀，萊布尼茨、托馬斯·霍布斯和笛卡兒等率先提出：是否可以將人類理性的思考系統(tǒng)，轉化為代數(shù)學或幾何學體系？萊布尼茨認為：“人類的思想，可以簡化成某種運算。”這些偉大的思想，為后來的計算機和人工智能發(fā)展指明了方向。在查爾斯·巴貝奇（Charles Babbage）的分析機、赫爾曼·何樂禮（Herman Hollerith）的制表機、阿蘭·圖靈（Alan Turing）的圖靈機，以及Z3、珍妮機、Mark I、ENIAC等一系列發(fā)明的接力推動下，人類終于進入了數(shù)字電子計算機時代，也開啟了波瀾壯闊的信息技術革命。（不清楚的，看這里：算力簡史）數(shù)字電子計算機正式誕生之后，很快就有科學家開始探索，是否可以通過計算機來實現(xiàn)“智能”。1950年，阿蘭·圖靈在《心靈（Mind）》雜志上發(fā)表了一篇非常重要的論文，名叫《計算機器與智能（Computing Machinery and Intelligence）》。“I propose to consider the question, ‘Can machines think?’"圖靈在論文中仔細討論了創(chuàng)造“智能機器”的可能性。由于“智能”一詞很難定義，他提出了著名的圖靈測試（以下為大致意思）：
“一個人在不接觸對方的情況下，通過一種特殊的方式和對方進行一系列的問答。如果在相當長時間內(nèi)，他無法根據(jù)這些問題判斷對方是人還是計算機，那么，就可以認為這個計算機是智能的。”圖靈測試
圖靈的論文，在學術界引起了廣泛的反響。越來越多的學者被這個話題所吸引，參與到對“機器智能”的研究之中。其中，就包括達特茅斯學院的年輕數(shù)學助教約翰·麥卡錫（J. McCarthy），以及哈佛大學的年輕數(shù)學和神經(jīng)學家馬文·明斯基（M. L. Minsky）。1955年9月，約翰·麥卡錫、馬文·明斯基、克勞德·香農(nóng)（C. E. Shannon）、納撒尼爾·羅切斯特（N. Rochester）四人，共同提出了一個關于機器智能的研究項目。在項目中，首次引入了“Artificial Intelligence”這個詞，也就是人工智能。1956年6月，在剛才那4個人的召集下，在洛克菲勒基金會的資助下，十余位來自不同領域的專家，聚集在美國新罕布什爾州漢諾威鎮(zhèn)的達特茅斯學院，召開了一場為期將近兩月的學術研討會，專門討論機器智能。這次研討會，就是著名的達特茅斯會議（Dartmouth workshop）。達特茅斯會議并沒有得出什么重要的結論或宣言，但是認可了“人工智能（Artificial Intelligence）”的命名，也大致明確了后續(xù)的研究方向。這次會議，標志著人工智能作為一個研究領域正式誕生，也被后人視為現(xiàn)代人工智能的起點。達特茅斯會議之后，人工智能進入了一個快速發(fā)展階段。參與研究的人變得更多了，而且，也逐漸形成了幾大學術派系。在這里，我們要提到人工智能最著名的三大學派——符號主義、聯(lián)結主義（也叫聯(lián)接主義、連結主義）、行為主義。他們認為，世界中的實體、概念以及它們之間的關系，都可以用符號來表示。人類思維的基本單元，也是符號。如果計算機能像人腦一樣，接收符號輸入，對符號進行操作處理，然后產(chǎn)生符號輸出，就可以表現(xiàn)出智能。這個思路，關鍵在于把知識進行編碼，形成一個知識庫，然后通過推理引擎和規(guī)則系統(tǒng)，進行推斷，以此解決復雜的問題。符號主義早期的代表性成果，是1955年赫伯特·西蒙（Herbert A. Simon，也譯為司馬賀）和艾倫·紐維爾（Allen Newell）開發(fā)的一個名為“邏輯理論家（Logic Theorist）”的程序。“邏輯理論家”被認為是人類歷史上第一個人工智能程序，并且在達特茅斯會議上進行了演示。它將每個問題都表示成一個樹形模型，然后選擇最可能得到正確結論的那條線，來求解問題。1957年，赫伯特·西蒙等人在“邏輯理論家”的基礎上，又推出了通用問題解決器（General Problem Solver，GPS），也是符號主義的早期代表。進入1960年代，符號主義也進入了一個鼎盛時期。在自然語言理解、微世界推理、專家系統(tǒng)（注意這個詞，后面會再次提到它）等領域，人工智能取得了突破性的進展，也逐漸成為公眾關注的對象。1958年，約翰·麥卡錫正式發(fā)布了自己開發(fā)的人工智能編程語言——LISP（LIST PROCESSING，意思是"表處理"）。后來的很多知名AI程序，都是基于LISP開發(fā)的。1966年，美國麻省理工學院的魏澤鮑姆（Joseph Weizenbaum），發(fā)布了世界上第一個聊天機器人——ELIZA。ELIZA的名字源于蕭伯納戲劇作品《賣花女》中的主角名。它只有200行程序代碼和一個有限的對話庫，可以針對提問中的關鍵詞，進行答復。ELIZA其實沒有任何智能性可言。它基于規(guī)則運作，既不理解對方的內(nèi)容，也不知道自己在說什么。但即便如此，它還是在當時引起了轟動。ELIZA可以說是現(xiàn)在Siri、小愛同學等問答交互工具的鼻祖。聯(lián)結主義，強調(diào)模仿人腦的工作原理，建立神經(jīng)元之間的聯(lián)結模型，以此實現(xiàn)人工神經(jīng)運算。大家可能會有點激動。沒錯，這就是現(xiàn)在非常熱門的神經(jīng)網(wǎng)絡模型。神經(jīng)網(wǎng)絡的概念其實誕生得很早。1943年，美國神經(jīng)生理學家沃倫·麥卡洛克（Warren McCulloch）和數(shù)學家沃爾特·皮茨（Walter Pitts），基于人類大腦的神經(jīng)網(wǎng)絡，創(chuàng)建了一個形式神經(jīng)元的計算機模型，并將其取名為MCP（McCulloch&Pitts）模型。1951年，馬文·明斯基（就是前面提到的那個）和他的同學鄧恩·埃德蒙（Dunn Edmund），建造了第一臺神經(jīng)網(wǎng)絡機SNARC。1957年，美國康奈爾大學的心理學家和計算機科學家弗蘭克·羅森布拉特（Frank Rosenblatt），在一臺IBM-704計算機上，模擬實現(xiàn)了一種他發(fā)明的叫“感知機?(Perceptron)?”的神經(jīng)網(wǎng)絡模型。這個“感知器”包括三層結構，一端是400個光探測器，模擬視網(wǎng)膜。光探測器多次連接一組512個電子觸發(fā)器。當它通過一個特定的可調(diào)節(jié)的興奮閥值時，就會像神經(jīng)元一樣激發(fā)。這些觸發(fā)器連接到最后一層，當一個物體與感知器受訓見過的對象相互匹配時，它就會發(fā)出信號。
感知機的工作原理
“感知機”是聯(lián)結主義的一項重要成果，在人工智能發(fā)展史上具有里程碑式的意義。但是，后來的一盆冰水，徹底澆滅了聯(lián)結主義的熱情。1969年，馬文·明斯基和西蒙·派珀特（Seymour Papert）寫了一本書《感知機: 計算幾何學導論》的書，對羅森布萊特的感知器提出了質(zhì)疑。馬文·明斯基認為：“神經(jīng)網(wǎng)絡具有很大的局限性（單層感知機無法解決線性不可分問題），沒有實際研究價值。”來自大神的否定，等于直接宣判了神經(jīng)網(wǎng)絡（聯(lián)結主義）路線的死刑。于是，這個非常有價值的研究方向，被中止了。羅森布萊特后來死于意外（也有人說是自殺），馬文·明斯基也因為這個錯誤的判斷，被一些學者抨擊。（需要注意，馬文·明斯基雖然有誤判，但他對人工智能事業(yè)的功遠大于過，甚至也被譽為“人工智能之父”。）等到神經(jīng)網(wǎng)絡（聯(lián)結主義）重新崛起，已經(jīng)是十多年后的事情了。我們待會再詳細說。
行為主義，也稱為進化主義或控制論學派。他們認為，通過與環(huán)境的互動來學習和適應，從而改進自身行為，就是行為主義認為的智能。智能取決于感知和行動，不需要知識、表示和推理，只需要將智能行為表現(xiàn)出來就好。簡單來說，行為主義AI系統(tǒng)基于“感知-動作”的閉環(huán)控制，強調(diào)即時反饋和適應性學習。智能體通過感知環(huán)境信息，基于這些信息執(zhí)行動作，并根據(jù)動作結果調(diào)整后續(xù)行為。行為主義在后來的機器人學、自動化控制、游戲AI、自動駕駛汽車等領域有著重要應用。好了，以上是AI三大重要學派的介紹，作為學習AI的知識鋪墊，也有助于閱讀后面的文章。請大家注意，AI的學派和思想路線并不止這三個，還有一些小學派，例如進化計算、模糊邏輯、貝葉斯網(wǎng)絡等。它們雖不構成獨立的大學派，但在AI的某些子領域內(nèi)有著重要的應用和影響。而且，AI學派之間，邊界也比較模糊，有時候會互相融合。首先必須是亞瑟·塞繆爾（Arthur Samuel）的跳棋程序。1959年，IBM科學家亞瑟·塞繆爾在自家首臺商用計算機IBM701上，成功編寫了一套西洋跳棋程序。這個程序具有“學習能力”，可以通過對大量棋局的分析，逐漸辨識出“好棋”和“壞棋”，從而提高自己的下棋水平。這個程序很快就下贏了薩繆爾自己，后來，它還戰(zhàn)勝了當時的西洋跳棋大師羅伯特尼賴。因為首次提出了“機器學習（Machine Learning）”的概念，亞瑟·塞繆爾被后人譽為“機器學習之父”。1959年，美國發(fā)明家喬治·德沃爾（George Devol）與約瑟夫·英格伯格（Joseph Engelberger）發(fā)明了人類首臺工業(yè)機器人——Unimate。Unimate重達兩噸，安裝運行于通用汽車生產(chǎn)線。它可以控制一臺多自由度的機械臂，搬運和堆疊熱壓鑄金屬件。1966年，查理·羅森（Charlie Rosen）領導的美國斯坦福研究所（SRI），研發(fā)成功了首臺人工智能機器人——Shakey。Shakey全面應用了人工智能技術，裝備了電子攝像機、三角測距儀、碰撞傳感器以及驅(qū)動電機，能簡單解決感知、運動規(guī)劃和控制問題。它是第一個通用移動機器人，也被稱為“第一個電子人”。剛才說了，1960年代是符號主義的鼎盛時期。其實，在符號主義的帶動下，當時整個人工智能研究都進入了一個高速發(fā)展的階段，也被稱為AI的黃金時代（Golden Time，1960-1973年）。那時，除了定理證明、人機互動、游戲博弈和機器人之外，人工智能很多領域都產(chǎn)出了不錯的成果。加上冷戰(zhàn)時期，美國政府愿意掏錢資助，使得AI研究變得異常火爆。在這一背景下，學術界對AI的預期，開始變得盲目樂觀。有些研究者認為：“二十年內(nèi)，機器將能完成人能做到的一切工作。”“在未來3-8年內(nèi)，會誕生和人類智慧相當?shù)臋C器人，可能我們?nèi)祟悤蔀锳I的寵物。”隨著時間的推移，學者們逐漸發(fā)現(xiàn)，基于推理規(guī)則的“智能”，實際上能力非常有限。加上當時計算機的算力和存力尚處于早期階段，系統(tǒng)根本達不到預期的效果。之前介紹的那些AI程序和工具，陸續(xù)開始出現(xiàn)瓶頸，甚至鬧出笑話。以機器翻譯為例。當時美國政府投入了2000多萬美元作為機器翻譯的經(jīng)費，結果相關團隊研發(fā)多年，發(fā)現(xiàn)完全低估了這個項目的難度。翻譯工具經(jīng)常出現(xiàn)一些低級錯誤。例如，將“Out of sight，out of mind（眼不見，心不煩）”翻譯成“又瞎又瘋”，把“The spirit is willing but the flesh is weak（心有余而力不足）”翻譯成“酒是好的，但肉變質(zhì)了”，把“Time flies like an arrow（光陰似箭）”翻譯成“蒼蠅喜歡箭”。接二連三的失敗，慢慢耗盡了政府金主的耐心。加上不久后美國經(jīng)濟出現(xiàn)了一些問題（1974-1975年出現(xiàn)歷史上罕見的連續(xù)兩年GDP負增長），政府開始決定“斷糧”。1973年，數(shù)學家萊特希爾（Lighthill）向英國政府提交了一份關于人工智能的研究報告（著名的《萊特希爾報告》）。報告對當時的機器人技術、語言處理技術和圖像識別技術進行了嚴厲且猛烈的批評，指出人工智能那些看上去宏偉的目標根本無法實現(xiàn)，研究已經(jīng)徹底失敗。
很快，英國政府、美國國防部高級研究計劃局（DARPA）和美國國家科學委員會等，開始大幅削減甚至終止了對人工智能的投資。人工智能進入了第一個發(fā)展低谷，也被稱為“AI Winter（AI之冬）”。AI之冬的持續(xù)時間其實并不是很久。六年后，1980年，第二次AI發(fā)展高潮開始了。
第二次浪潮，其實還是符號主義掀起的。這次的主角，是符號主義的一個新階段——專家系統(tǒng)（Expert System）。專家系統(tǒng)，就是一個面向?qū)I(yè)領域的超級“知識庫+推理庫”。它找來很多人，對大量的專家知識和經(jīng)驗進行整理，分析并編寫出海量的規(guī)則，導入系統(tǒng)。然后，系統(tǒng)根據(jù)這些基于知識整理出來的規(guī)則，進行邏輯推理，來模擬和延伸人類專家的決策能力，解決復雜的問題。大家能看出來，專家系統(tǒng)走的仍然是符號主義的“規(guī)則”路線。所以，專家系統(tǒng)，也叫做規(guī)則基礎系統(tǒng)。1968年，美國科學家愛德華·費根鮑姆（Edward Feigenbaum）提出了第一個專家系統(tǒng)——DENDRAL，并對知識庫給出了初步的定義。這標志著專家系統(tǒng)的誕生。DENDRAL面向的是化學行業(yè)。它可以幫助化學家判斷物質(zhì)的分子結構。系統(tǒng)推出之后，因為能夠減少人力成本并且提升工作效率，受到了化學行業(yè)的歡迎和認可。和DENDRAL差不多時間出現(xiàn)的專家系統(tǒng)，還有威廉·馬丁（William A. Martin）開發(fā)的Macsyma，以及安東尼·赫恩（Anthony C. Hearn）開發(fā)的“Reduce”。這兩套都是數(shù)學領域的專家系統(tǒng)（用于求解數(shù)學問題），都采用了約翰·麥卡錫的LISP語言進行開發(fā)。1972年，美國醫(yī)生兼科學家愛德華·H·肖特利夫（Edward H. Shortliffe）創(chuàng)建了可以幫助進行醫(yī)學診斷的專家系統(tǒng)——MYCIN。MYCIN也是基于LISP語言編寫，擁有500多條規(guī)則，能夠識別51種病菌，正確地處理23種抗菌素。它能夠協(xié)助醫(yī)生診斷、治療細菌感染性血液病，為患者提供最佳處方。當時，它成功地處理了數(shù)百個病例，并通過了嚴格的測試，顯示出了較高的醫(yī)療水平。1977年，愛德華·費根鮑姆在第五屆國際人工智能聯(lián)合會議上，提出了“知識工程（Knowledge Engineering）”的概念，進一步推動了專家系統(tǒng)的普及。進入1980年代，隨著技術的演進，計算機的計算和存儲能力增加，專家系統(tǒng)開始在各個行業(yè)爆發(fā)。1980年，卡耐基梅隆大學研發(fā)的專家系統(tǒng)XCON（eXpertCONfigurer）正式商用，為當時的計算機巨頭公司DEC每年省下數(shù)千萬美金。1983年，通用電氣公司搞出了柴油電力機車維修專家系統(tǒng)（DELTA）。這個系統(tǒng)封裝了眾多GE資深現(xiàn)場服務工程師的知識和經(jīng)驗，能夠指導員工進行故障檢修和維護。當時，美國運通公司也搞了一個信用卡認證輔助決策專家系統(tǒng)，據(jù)說每年可節(jié)省2700萬美金。總而言之，那時候的專家系統(tǒng)，是大公司趨之若鶩的神器。它能夠帶來實實在在的經(jīng)濟效益，所以，行業(yè)用戶愿意為之投資。這是第二次AI浪潮的根本原因。我們也可以這么說，第一次AI浪潮，是政府投資帶動的。第二次AI浪潮，是企業(yè)投資帶動。AI，開始進入產(chǎn)業(yè)化的階段。企業(yè)投資的成效，反過來又讓各國政府對AI恢復了一些信心。1981年，經(jīng)濟高速增長的日本，率先開始對AI進行投入。那一年，日本經(jīng)濟產(chǎn)業(yè)省撥款8.5億美元，支持第五代計算機項目。這個項目的最終目的，是造出一臺人工智能計算機，能夠與人對話、翻譯語言、解釋圖像、完成推理。1983年，美國國防部高級研究計劃局（DARPA）通過“戰(zhàn)略計算促進會（Strategic Computing Initiative）”，重啟對人工智能研究的資助。同年，英國投資3.5億英鎊，啟動了Alvey（阿爾維）計劃，全面推進軟件工程、人機接口、智能系統(tǒng)和超大規(guī)模集成電路等領域的研發(fā)。關于專家系統(tǒng)，還有一個雄心勃勃的項目值得一提。那就是1984年啟動的Cyc項目。Cyc項目由美國微電子與計算機技術公司發(fā)起，是一個“超級百科全書”項目。它試圖將人類擁有的所有一般性知識都輸入計算機，建立一個巨型數(shù)據(jù)庫。這個項目，據(jù)說到現(xiàn)在還在進行之中。
好景不長，到了1980年代的后半段，人工智能又開始走下坡路了。首先，專家系統(tǒng)（符號主義）基于規(guī)則和已有知識的“檢索+推理”，面對復雜的現(xiàn)實世界，顯然還是有能力瓶頸。它的應用領域狹窄、缺乏常識性知識、知識獲取困難、推理方法單一、缺乏分布式功能、難以與現(xiàn)有數(shù)據(jù)庫兼容等……所有這些問題，都給它的進一步發(fā)展造成了困擾。
其次，80年代PC（個人電腦）技術革命的爆發(fā)，也給專家系統(tǒng)造成了沖擊。當時專家系統(tǒng)基本上都是用LISP語言編寫的。系統(tǒng)采用的硬件，是Symbolics等廠商生產(chǎn)的人工智能專用計算機（也叫LISP機）。1987年，蘋果和IBM公司生產(chǎn)的臺式機，在性能上已經(jīng)超過了Symbolics的AI計算機，導致AI硬件市場需求土崩瓦解。專家系統(tǒng)的維護和更新也存在很多問題。不僅操作復雜，價格也非常高昂。
結合以上種種原因，市場和用戶逐漸對專家系統(tǒng)失去了興趣。到了80年代晚期，戰(zhàn)略計算促進會大幅削減對AI的資助。DARPA的新任領導也認為AI并非“下一個浪潮”，削減了對其的投資。█?第三次高潮階段（1994年-現(xiàn)在）在進入1990年代之前，小棗君還是要再講講1980年代。
1980年代，專家系統(tǒng)掀起了第二次AI浪潮，也推動了AI技術的發(fā)展。但從上帝視角來看，真正對后來的AI發(fā)展產(chǎn)生深遠影響的，其實不是專家系統(tǒng)，而是另外一個被遺忘了二十多年的賽道。
沒錯，這個賽道，就是當年被馬文·明斯基一句話給干廢的“神經(jīng)網(wǎng)絡”賽道。
前文我們提到，神經(jīng)網(wǎng)絡是聯(lián)結主義的一個代表性研究方向。但是，因為馬文·明斯基的否定，這個方向在1969年被打入冷宮。
1980年，越來越多的科學家意識到專家系統(tǒng)存在不足。符號主義這條路，很可能走不通。人們認為，人工智能想要實現(xiàn)真正的智能，就必須擁有自己的感知系統(tǒng)，能夠自主學習。
于是，倡導讓機器“自動地從數(shù)據(jù)中學習，并通過訓練得到更加精準的預測和決策能力”的研究思想，開始逐漸活躍起來。這就是前面提到過的機器學習。
機器學習包含多種方法和理論學派。源于聯(lián)結主義學派的神經(jīng)網(wǎng)絡，就在這一時期開始“復活”。
1982年，約翰·霍普菲爾德（John Hopfield）在自己的論文中重點介紹了Hopfield網(wǎng)絡模型（模型原型早期由其他科學家提出）。這是一種具有記憶和優(yōu)化功能的循環(huán)（遞歸）神經(jīng)網(wǎng)絡。
1986年，戴維·魯梅爾哈特（David Rumelhart）、杰弗里·辛頓（Geoffrey Hinton，記住這個名字！）和羅納德·威廉姆斯（Ronald Williams）等人共同發(fā)表了一篇名為《Learning representations by back-propagation errors（通過反向傳播算法的學習表征）》的論文。
在論文中，他們提出了一種適用于多層感知器（MLP）的算法，叫做反向傳播算法（Backpropagation，簡稱BP算法）。
該算法通過在輸入層和輸出層之間設定一個中間層（隱藏層），以反向傳播的方式實現(xiàn)機器的自我學習。
算法咱們以后再研究。大家只需要記住，BP算法不僅為多層神經(jīng)網(wǎng)絡的發(fā)展奠定了基礎，也打破了馬文·明斯基當年提出的“神經(jīng)網(wǎng)絡具有局限性”魔咒，意義非常重大。
1980年代是人工智能研究方向發(fā)生重大轉折的時期。機器學習和神經(jīng)網(wǎng)絡（聯(lián)結主義）加速崛起，逐漸取代專家系統(tǒng)（符號主義），成為人工智能的主要研究方向。我們也可以理解為，人工智能原本由知識驅(qū)動的方式，逐漸變成了由數(shù)據(jù)驅(qū)動。機器學習的代表性算法包括決策樹、支持向量機、隨機森林等。1995年，克里娜·柯爾特斯（Corinna Cortes）和弗拉基米爾·萬普尼克（Vladimir Vapnik）開發(fā)了支持向量機（Support Vector Machine，SVM）。支持向量機是一種映射和識別類似數(shù)據(jù)的系統(tǒng)，可以視為在感知機基礎上的改進。神經(jīng)網(wǎng)絡方面，非常重要的CNN（Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡）和RNN（Recursive Neural Networks，遞歸神經(jīng)網(wǎng)絡），也在那一時期崛起了。1988年，貝爾實驗室的Yann LeCun（他是法國人，網(wǎng)上翻譯的中文名有很多：楊立昆、楊樂春、燕樂存、揚·勒丘恩）等人，提出了卷積神經(jīng)網(wǎng)絡。大家應該比較熟悉，這是一種專門用于處理圖像數(shù)據(jù)的神經(jīng)網(wǎng)絡模型。Yann LeCun
1990年，美國認知科學家、心理語言學家杰弗里·艾爾曼（Jeffrey Elman）提出了首個遞歸神經(jīng)網(wǎng)絡——艾爾曼網(wǎng)絡模型。遞歸神經(jīng)網(wǎng)絡能夠在訓練時維持數(shù)據(jù)本身的先后順序性質(zhì)，非常適合于自然語言處理領域的應用。1997年，德國計算機科學家瑟普·霍克賴特（Sepp Hochreiter）及其導師于爾根·施密德胡伯（Jürgen Schmidhuber）開發(fā)了用于遞歸神經(jīng)網(wǎng)絡的LSTM（長短期記憶網(wǎng)絡）。1998年，Yann LeCun等人提出了LeNet，一個用于手寫數(shù)字識別的卷積神經(jīng)網(wǎng)絡，初步展示了神經(jīng)網(wǎng)絡在圖像識別領域的潛力。
總而言之，20世紀90年代，神經(jīng)網(wǎng)絡在開始商用于文字圖像識別、語音識別、數(shù)據(jù)挖掘以及金融預測。在模式識別、信號處理、控制工程等領域，也有嘗試應用，盡管當時受到計算資源限制，應用范圍和規(guī)模有限。想要推動人工智能技術的進一步爆發(fā)，既需要算法模型的持續(xù)演進，也需要算力的深入增強。此外，還有一個短板，也需要補充，那就是數(shù)據(jù)。
大家應該看出來了，AI的三要素，就是算法、算力和數(shù)據(jù)。1990年代最重要的AI事件，當然是1997年IBM超級電腦“深藍（DEEP BLUE）”與國際象棋大師卡斯帕洛夫（KASPAROV）的世紀之戰(zhàn)。
此前的1996年2月，深藍已經(jīng)向卡斯帕洛夫發(fā)起過一次挑戰(zhàn)，結果以2-4敗北。1997年5月3日至11日，“深藍”再次挑戰(zhàn)卡斯帕羅夫。在經(jīng)過六盤大戰(zhàn)后，最終“深藍”以2勝1負3平的成績，險勝卡斯帕羅夫，震驚了世界。這是AI發(fā)展史上，人工智能首次戰(zhàn)勝人類。作為80后的小棗君，對這件事情也印象深刻。當時“深藍”所引起的熱潮，絲毫不亞于后來的ChatGPT。幾乎所有的人都在想——人工智能時代是否真的到來了？人工智能，到底會不會取代人類？進入21世紀，得益于計算機算力的進一步飛躍，以及云計算、大數(shù)據(jù)的爆發(fā)，人工智能開始進入一個更加波瀾壯闊的發(fā)展階段。2006年，多倫多大學的杰弗里·辛頓（就是1986年發(fā)表論文的那個大神）在science期刊上，發(fā)表了重要的論文《Reducing the dimensionality of data with neural networks（用神經(jīng)網(wǎng)絡降低數(shù)據(jù)維數(shù)）》，提出深度信念網(wǎng)絡（Deep Belief Networks，DBNs）。深度學習（Deeping Learning），正式誕生了。2006年被后人稱為深度學習元年，杰弗里·辛頓也因此被稱為“深度學習之父”。深度學習是機器學習的一個重要分支。更準確來說，機器學習底下有一條“神經(jīng)網(wǎng)絡”路線，而深度學習，是加強版的“神經(jīng)網(wǎng)絡”學習。經(jīng)典機器學習算法使用的神經(jīng)網(wǎng)絡，具有輸入層、一個或兩個“隱藏”層和一個輸出層。數(shù)據(jù)需要由人類專家進行結構化或標記（監(jiān)督學習），以便算法能夠從數(shù)據(jù)中提取特征。深度學習算法使用“隱藏”層更多（數(shù)百個）的深度神經(jīng)網(wǎng)絡。它的能力更強，可以自動從海量的數(shù)據(jù)集中提取特征，不需要人工干預（無監(jiān)督學習）。2006年，在斯坦福任教的華裔科學家李飛飛，意識到了業(yè)界在研究AI算法的過程中，沒有一個強大的圖片數(shù)據(jù)樣本庫提供支撐。于是，2007年，她發(fā)起創(chuàng)建了ImageNet項目，號召民眾上傳圖像并標注圖像內(nèi)容。2009年，大型圖像數(shù)據(jù)集——ImageNet，正式發(fā)布。這個數(shù)據(jù)庫包括了1400萬張圖片數(shù)據(jù)，超過2萬個類別，為全球AI研究（神經(jīng)網(wǎng)絡訓練）提供了強大支持。從2010年開始，ImageNet每年舉行大規(guī)模視覺識別挑戰(zhàn)賽，邀請全球開發(fā)者和研究機構參加，進行人工智能圖像識別算法評比。2012年，杰弗里·辛頓和他的學生伊利亞·蘇茨克沃（Ilya Sutskever）和亞歷克斯·克里切夫斯基（Alex Krizhevsky）參加了這個比賽。他們設計的深度神經(jīng)網(wǎng)絡模型AlexNet在這次競賽中大獲全勝，以壓倒性優(yōu)勢獲得第一名（將Top-5錯誤率降到了15.3%，比第二名低10.8%），引起了業(yè)界轟動，甚至一度被懷疑是作弊。值得一提的是，他們?nèi)擞糜谟柧毮Ｐ偷模皇?張英偉達GTX 580顯卡。GPU在深度神經(jīng)網(wǎng)絡訓練上表現(xiàn)出的驚人能力，不僅讓他們自己嚇了一跳，也讓黃仁勛和英偉達公司嚇了一跳。作為對比，2012年的早些時候，谷歌“Google Brain”項目的研究人員吳恩達（華裔美國人，1976年生于倫敦）、杰夫·迪恩（Jeff Dean）等人，也搗鼓了一個神經(jīng)網(wǎng)絡（10億參數(shù)），用來訓練對貓的識別。他們的訓練數(shù)據(jù)是來自youtube的1000萬個貓臉圖片，用了1.6萬個CPU，整整訓練了3天。“深度神經(jīng)網(wǎng)絡+GPU”的優(yōu)勢，顯露無疑。很多人和很多公司的命運，從此改變了。2013年，辛頓師徒三人共同成立了一家名為DNNresearch的公司。后來，這個只有三個人且沒有任何產(chǎn)品和計劃的公司，被谷歌以幾千萬美元的價格競購（百度也跑去買，和谷歌爭到最后，沒成功）。2013年-2018年，谷歌是人工智能領域最活躍的公司。2014年，谷歌公司收購了專注于深度學習和強化學習技術的人工智能公司——DeepMind公司。2016年3月，DeepMind開發(fā)的人工智能圍棋程序AlphaGo（阿爾法狗），對戰(zhàn)世界圍棋冠軍、職業(yè)九段選手李世石，并以4:1的總比分獲勝，震驚了全世界。AlphaGo具有很強的自我學習能力，能夠搜集大量圍棋對弈數(shù)據(jù)和名人棋譜，學習并模仿人類下棋。一年后，AlphaGo的第四代版本AlphaGoZero問世。在無任何數(shù)據(jù)輸入的情況下，僅用了3天時間自學圍棋，就以100:0的巨大優(yōu)勢，橫掃了第二代版本AlphaGo。學習40天后，AlphaGoZero又戰(zhàn)勝了第三代版本AlphaGo。當時，全世界都在熱議AlphaGoZero的強悍自學能力，甚至一度引起了人類的恐慌情緒。谷歌在AI圈出盡風頭，但他們估計也沒有想到，一家在2015年悄然成立的公司（確切說，當時是非營利性組織），會很快取代他們的主角地位。這家公司（組織），就是如今大紅大紫的OpenAI。OpenAI的創(chuàng)始人，除了埃隆·馬斯克（Elon Musk）之外，還有薩姆·奧爾特曼（Sam Altman）、彼得·泰爾（Peter Thiel）、里德·霍夫曼（Reid Hoffman）。辛頓的那個徒弟，伊利亞·蘇茨克沃，也跑去當了研發(fā)主管。深度學習崛起之后，大家應該注意到，都是用于一些判別類的場景，判斷貓、狗之類的。那么，深度學習，是否可以創(chuàng)造（生成）一些什么呢？2014 年，蒙特利爾大學博士生伊恩· 古德費洛（Ian Goodfellow），從博弈論中的“二人零和博弈”得到啟發(fā)，提出了生成對抗網(wǎng)絡（GANs，Generative Adversarial Networks）。生成對抗網(wǎng)絡用兩個神經(jīng)網(wǎng)絡即生成器（Generator）和判別器（Discriminator）進行對抗。在兩個神經(jīng)網(wǎng)絡的對抗和自我迭代中，GAN會逐漸演化出強大的能力。生成對抗網(wǎng)絡的出現(xiàn)，對無監(jiān)督學習、圖片生成等領域的研究，起到極大的促進作用，后來也拓展到計算機視覺的各個領域。2017年12月，Google機器翻譯團隊在行業(yè)頂級會議NIPS上，丟下了一顆重磅炸彈。他們發(fā)表了一篇里程碑式的論文，名字叫做《Attention is all you need（你所需要的，就是注意力）》。論文提出只使用“自我注意力（Self Attention）”機制來訓練自然語言模型，并給這種架構起了個霸氣的名字——Transformer（轉換器、變壓器，和“變形金剛”是一個詞）。所謂"自我注意力"機制，就是只關心輸入信息之間的關系，而不再關注輸入和對應輸出的關系，無需再進行昂貴的人工標注。這是一個革命性的變化。Transformer的出現(xiàn)，徹底改變了深度學習的發(fā)展方向。它不僅對序列到序列任務、機器翻譯和其它自然語言處理任務產(chǎn)生了深遠的影響，也為后來AIGC的崛起打下了堅實的基礎。2018年6月，年輕的OpenAI，發(fā)布了第一版的GPT系列模型——GPT-1。同時，他們還發(fā)表了論文《Improving Language Understanding by Generative Pre-training（通過生成式預訓練改進語言理解）》。GPT，就是Generative Pre.trained Transfommer的縮寫，生成式預訓練變換器。Generative（生成式），表示該模型能夠生成連續(xù)的、有邏輯的文本內(nèi)容，比如完成對話、創(chuàng)作故事、編寫代碼或者寫詩寫歌等。Pre.trained（預訓練），表示該模型會先在一個大規(guī)模未標注文本語料庫上進行訓練，學習語言的統(tǒng)計規(guī)律和潛在結構。Transfommer，剛才說過了，就是那個很厲害的轉換器模型。谷歌緊隨其后。2018年10月，他們發(fā)布了有3億參數(shù)的BERT（Bidirectional Encoder Representation from Transformers）模型，意思是“來自Transformers的雙向編碼表示”模型。GPT-1和BERT都使用了深度學習和注意力機制，具備較強的自然語言理解能力。兩者的區(qū)別是，BERT使用文本的上下文來訓練模型。而專注于“文本生成”的GPT-1，使用的是上文。基于“雙向編碼”的能力，BERT的性能在當時明顯優(yōu)異于GPT-1。谷歌的領先是暫時的。2019年和2020年，OpenAI接連發(fā)布了GPT-2和GPT-3。2022年11月，OpenAI發(fā)布了基于GPT模型的人工智能對話應用服務——ChatGPT（也可以理解為GPT-3.5），徹底引爆了全世界。ChatGPT結合了人類生成的對話數(shù)據(jù)進行訓練，展現(xiàn)出豐富的世界知識、復雜問題求解能力、多輪對話上下文追蹤與建模能力，以及與人類價值觀對齊的能力。它在人機對話方面的出色表現(xiàn)，引發(fā)了社會的高度關注，在全球范圍內(nèi)掀起了一股AI巨浪。繼ChatGPT后，OpenAI又發(fā)布了GPT-4、GPT-4V、GPT-4 Turbo、GPT-4o，形成了如今難以撼動的領導者地位。谷歌雖然也發(fā)布號稱最強AI大模型的Gemini，但仍然難以在風頭上蓋過OpenAI。除了文本生成，生成式AI也積極向多模態(tài)發(fā)展，能夠處理圖像、音頻、視頻等多種媒體形式。例如DALL-E、Stable Diffusion、Midjourney等圖像生成模型，Suno、Jukebox音樂生成模型，以及SoRa視頻生成模型。全球面向各個垂直領域的“大模型之戰(zhàn)”，仍在硝煙彌漫地進行之中。。。寫到這里，這篇洋洋灑灑一萬多字的文章，終于要結束了。人工智能起步于1950年代，早期主要是符號主義占主流，并引發(fā)了第一次（政府投資）和第二次AI浪潮（企業(yè)投資）。到1980年代，符號主義逐漸走弱，機器學習和神經(jīng)網(wǎng)絡開始崛起，成為主流。1994-現(xiàn)在，雖然叫做第三次AI浪潮，但也分兩個階段。1994-2006（其實是1980-2006），是機器學習、神經(jīng)網(wǎng)絡的早期積累階段，打基礎。2006年，神經(jīng)網(wǎng)絡進入深度學習階段，就徹底開始了AI的爆發(fā)。從2018年開始，人工智能逐漸進入了Transformer和大模型時代，能力有了巨大的提升，也掀起了AI巨浪。如今的人工智能，已經(jīng)是全世界關注的焦點，也處于一個前所未有的白金發(fā)展階段。隨著深度學習、神經(jīng)網(wǎng)絡、生成式AI等技術的不斷突破，人工智能已經(jīng)在工業(yè)、教育、醫(yī)療、金融、交通、娛樂等幾乎所有領域?qū)崿F(xiàn)了落地。人工智能在計算機視覺、自然語言處理、機器人等方面所具備的能力，已經(jīng)被應用到大量的垂直場景，并產(chǎn)生了可觀的經(jīng)濟效益。在人工智能熱潮的帶動下，軟件、半導體、通信等ICT產(chǎn)業(yè)，都獲得了不錯的商業(yè)機會。圍繞人工智能的幾家大公司，包括英偉達、微軟、蘋果、Alphabet（谷歌母公司）、亞馬遜、Meta、特斯拉，目前在股票市場被譽為“七巨頭”，市值屢破紀錄。當然了，這股熱潮究竟會走向何方，我們還不得而知。也許，它會繼續(xù)增長一段時間，甚至長期持續(xù)下去，將人類徹底帶入智能時代。也許，我們會進入第三次AI低谷，泡沫破碎，一地雞毛，又進入一個新的周期。2、《人工智能發(fā)展簡史》孫凌云、孟辰燁、李澤健；4、《深度學習簡史》，Keith D. Foote；5、《AI是什么 將帶我們?nèi)ツ膬海?span style="color: rgb(136, 136, 136);letter-spacing: 0.578px;text-wrap: wrap;">》，李開復；6、《人工智能的五個定義：哪個最不可取？》，李開復；7、《一文讀懂人工智能發(fā)展史：從誕生，到實現(xiàn)產(chǎn)業(yè)化》，李彎彎；9、《AlphaGo背后：深度學習的勝利》，曹玲；10、《三張圖講述一部AI進化史》，產(chǎn)品二姐（知乎）；11、《GPT的背后，從命運多舛到顛覆世界，人工神經(jīng)網(wǎng)絡的跌宕80年》，孫睿晨；
