AI HISTORY/PRIMARY SOURCES × PYTHON

AI全史

從會思考的機器之夢,到能寫文章的AI。近400年的挑戰,讓我們動手玩、動手跑、親自驗證

我們逐一打開與AI有關的論文、書籍和當時的報導等原始資料,共 667份,一份一份地查證,並用 146個程式實作其中的原理。

課本上的一行字背後,藏著令人興奮的真實故事。那些有名的故事,我們都回到說話者的書籍、論文和當時的報導去查證。
原理可以透過操作圖、執行Python,親手驗證。從哪一章開始讀都可以。

01第01章 · 總覽

熱潮的波浪與編號的由來

「第1〜4次AI熱潮」的編號,是誰、在什麼時候加上的?

AI的歷史上,期待膨脹的時期(熱潮)和期待消退的時期(寒冬),都出現過好幾次。但熱潮有多大,我們看不見。因此,本站統計了英文書、世界各國論文和日本書籍的標題,以及日本國會發言中,這個詞每年被使用的次數,藉此觀察波浪的形狀。

右邊的圖用的就是這些真實資料。國會中出現代表AI的「AI」一詞的發言,在2019年形成一座山峰,隨後回落,到2023年又超過了先前的山峰。不過,計算方式不同,形狀也會改變。只用「AI」這2個字搜尋,連 AIDS 和 AIG 都會算進去。所以我們查看每1則發言的內容,訂出標準,重新計算。

「第1〜4次」這種編號,是日本常用的計算方式。在英文書裡,被編號的不是熱潮,而是。1985年的國會上,有人說明(譯)。

以為知道的事常見說法:是明斯基和香克警告過的詞
原始資料中:1984年那場討論會的紀錄顯示,明斯基並不在與談者之列。這個詞是用來稱呼未來可能出現的最壞情況。
進入本章 →

圖所展示的:熱潮的大小,會隨著計數方式改變而呈現不同形狀;而且用「第1〜4次」編號,主要是日本的計數方式,英語則是替寒冬編號。

02第02章 · 〜1955年

會思考的機器之夢與計算機器

人們從什麼時候開始認真提出這個問題?

1637年,笛卡兒寫下了2種分辨像人的機器的方法。1770年的「下西洋棋的機器」,裡面其實藏著一個人。1843年,洛芙蕾絲為分析機寫下了註解。江戶時代的日本,則有人製作機關人偶。

1936年,圖靈提出一種只靠紙帶和規則表進行計算的機器構想。在右邊的圖裡打開1936年的箱蓋,就能看到用這台機器替2進位數加1的例子。讀寫頭讀取紙帶上的字元,查表改寫,再向左或向右移動1格。他認為,任何計算,都能寫成這些簡單動作的組合。

1943年,麥卡洛克和皮茨把大腦的神經細胞(神經元)表示成開關:把輸入加起來,達到或超過一定的值就放電。這就是類神經網路的起點。接著在1950年,圖靈把(譯)這個問題,換成了模仿遊戲。

以為知道的事常見說法:騙過30%的評審就算通過
原始資料中:圖靈的論文裡沒有這項標準。他本人寫的,是對大約50年後的展望。
進入本章 →

圖所展示的:「機器能思考嗎?」並不是1950年突然出現的問題:自從笛卡兒在1637年寫下辨別像人一樣的機器的方法,300多年來,人們陸續製作、構想用人偶、齒輪、卡片、紙帶和開關組成的「看起來會思考的機器」,但往裡面看,藏著的是人,或固定的步驟(表格、齒輪、卡片、規則表、開關)。1950年,圖靈不再檢查內部,而把問題換成只靠文字交流能否辨別機器的「模仿遊戲」。

03第03章 · 1955〜1960年

這個名字誕生了

做錯就修正自己的機器,學到了什麼?

1955年,夏季研討會的計畫書裡使用了這個名字。計畫書寫的不是要在一個夏天裡完成,而是有望在1個以上的問題上取得大幅進展。

1958年,美國海軍向記者展示了羅森布拉特的感知器。它試了大約50次,就學會分辨卡片上的記號在右邊還是左邊。在右邊的圖裡讓它看看卡片吧。只有答錯時,才修正有記號的那些格子的權重。最後看看權重的分布,就會明白:機器不認識「右」「左」這些詞,它只是學會了哪些格子投票給哪一邊。

差不多同一時期,賽門和紐厄爾做出了(譯)等預言,連核對結果的日期都是自己寫下的。

以為知道的事常見說法:達特茅斯研討會的人們打算在一個夏天裡完成AI
原始資料中:計畫書寫的是有望在1個以上的問題上取得大幅進展。
進入本章 →

圖所展示的:感知器不認識「右」「左」這些詞,只在答錯時修正權重,學會每個格子該投票給哪一邊。即使看了約50張卡片,權重板上留下的,也只是「把答錯的卡片疊起來的結果」。

每5張卡片的錯誤次數
04第04章 · 1960年代

搜尋、推論與大膽的預言

怎樣找迷宮的出口才快?

第1次AI擅長透過搜尋,解決迷宮、拼圖這類規則明確的問題。1968年的A*,會把已經走過的距離加上到終點的估計距離,再選出下一個要查看的地方。在右邊的圖裡,比較不做估計、A*、把估計放大3倍的搜尋方式吧。估計得合適,就能用較少的搜尋找到最短路線。估計放得太大,搜尋雖然快,卻不再是最短路線。

1966年的ELIZA,只是找出關鍵字、按照規則改寫句子,看起來就像在和人對話。1968年,日本公開了讀取郵遞區號的機器。

大膽的預言也出現了。1965年,賽門寫道:(譯)。

以為知道的事常見說法:賽門預言20年內機器會搶走人類所有的工作
原始資料中:原論文接著說,這只是對技術能力的展望,至於要怎麼使用,並沒有說明。
進入本章 →

圖所展示的:搜尋時加上到終點的估計距離,就能只查看少量格子,找到最短路線;估得太大,查看的格子會更少,卻不再是最短路線。只要調整1個估計滑桿,就能親自感受到這種「好處」與「代價」的分界。

05第05章 · 1966〜1980年

第1次熱潮之後的寒冬

美國、英國、日本的,是在同一年來的嗎?

人們說,那是期待落空、研究經費減少的時代。1966年美國的機器翻譯報告、1969年的書、1973年英國的萊特希爾報告,接連出現。

但在右邊的圖裡把3個國家的事件並排一看,就會發現寒冬到來的方式各不相同。在日本,1971年啟動了國家大型計畫「模式資訊處理系統」。1972年的聯想器(Associatron,從局部想起整體)、1979年的新認知機(位置偏移也能辨識形狀)等,與今天的AI相連的類神經網路研究也誕生了。拖動「目前年份」,即使是同一年,不同資料也會給出「沒有寒冬」等不同答案。

這一章裡,我們會執行19種原理,例如1條直線的限制(XOR)、組合爆炸、口語的束搜尋(beam search)、對齊語音快慢的DP比對,以及找出臉部各個部位的方法。

以為知道的事常見說法:1974〜1980年是AI的寒冬,研究停滯了
原始資料中:ACM的AI分會會員,在 1973〜1978年間幾乎增加到3倍。是不是,取決於用什麼當尺。
進入本章 →

圖所展示的:「寒冬」發生在何時,會隨著拿哪份資料當衡量標準而大幅改變。同一時期,日本卻開始了大型計畫和類神經網路研究。

06第06章 · 1975〜1990年

把專家的知識寫進去

把的規則排起來,能做到什麼,做不到什麼?

第2次熱潮,是從把專家的知識寫成規則的AI(專家系統)開始的。從1972年開始的MYCIN,是協助選擇感染症用藥的研究。它把規則和確信度(有多可信)結合起來,被問到「為什麼?」時,會列出用到的規則來回答。

右邊的圖是用相同原理判斷腳踏車狀況的例子(不提供醫療建議)。點選已知的情況來切換,適用的規則就會接連發揮作用,結論和確信度也會改變。規則裡沒有的症狀,它什麼也答不出來。補寫知識所需的心力,成了這種方法的限制。

在日本,1987年仙台市的地鐵開始運行,採用的是把模糊規則混合使用的模糊控制。

以為知道的事常見說法:第2次熱潮過了頭,是研究者誇大承諾造成的
原始資料中:1984年的一篇報導說,多數研究者是來談小小的進步,表現得好像夢想已經實現的,只是部分參展公司。
進入本章 →

圖所展示的:規則會從已知的事實出發,一條接著一條運作,得出結論,也能說明理由。但對規則裡沒寫的事,就什麼也答不出來。

07第07章 · 1979〜1995年

日本的第五代電腦

國家的大型計畫,目標是什麼,又留下了什麼?

1982年,日本啟動了一項以推論和知識處理為核心的新型電腦計畫。因為是接續元件世代(真空管、電晶體、IC、LSI)之後的一代,所以取名為。世界各國有所回應,英國和美國也啟動了大型計畫。

核心工具是邏輯程式語言Prolog。把事實和規則列好,它就能透過推論回答問題。在右邊的圖裡,從家族的事實出發,找找「祖父母」「堂表兄弟姊妹」吧。查詢事實的次數,就是推論所需的工夫。1992年的平行推論機PIM/p,每1秒能做1億5,600萬次推論。

最終評估裡,推論速度超過了目標,但與人對話的系統,還沒進展到能做出來的程度。是不是,取決於用什麼當目標,評價就會不同。

以為知道的事常見說法:第五代失敗了
原始資料中:最終評估寫的是(譯)。用什麼當目標,會影響評價。
進入本章 →

圖所展示的:只要列出事實和規則,就能透過推理回答問題。但親戚關係越遠,查找事實所花的功夫就越多。

08第08章 · 1987〜2005年

第2次熱潮後的寒冬與悄悄成長的新芽

疊了好幾層的類神經網路,是怎麼學習的?

專家系統的生意走下坡,第2次AI寒冬來臨。這段期間,從資料中學習的技術正在悄悄成長。1986年,用誤差反向傳播法訓練多層類神經網路的論文,刊登在Nature上。

右邊的圖展示了有隱藏層的網路學習XOR的過程。把輸出的誤差從後面的層傳回前面的層,一點一點地修正權重。1層學不會的XOR,疊上幾層就能解決。下方的圖表裡,誤差持續減小。

差不多同一時期,也誕生了能記住長上下文的網路(LSTM,1997)、在資料之間畫出最寬的路來分隔的支援向量機(1995),以及透過自我對弈學習的西洋雙陸棋(1992)。

以為知道的事常見說法:誤差反向傳播法是辛頓發明的
原始資料中:在1986年的論文之前,其他研究者也各自獨立發現過。日本的甘利俊一在1967年也發表了逐步修正誤差來學習的理論。
進入本章 →

圖所展示的:1層畫不出的XOR分界,疊上多層,並把誤差從後往前傳來修正,就能慢慢畫出來。

誤差的大小
09第09章 · 2006〜2012年

自己從資料中學習

只靠記住大量例子,就能替新資料分類嗎?

有了大量資料和GPU,把類神經網路疊成很多層的AI(深度學習)突然變強了。在2012年的影像競賽中,它以很大的差距獲勝。它用到的許多工具,早就逐漸發展起來了。這一章會把最小平方法(1805)、貝氏方法、主成分分析、k近鄰法、k-means、決策樹、SVM、隨機森林、奇異值分解、強化學習等機器學習方法,每次執行1種。也介紹了日本林知己夫的數量化、赤池弘次的AIC,以及大津展之的二值化。

右邊的圖展示的是其中的1種方法:k近鄰法。先記住附有正確答案的點,再讓新點附近的k個點投票,用多數決決定分類。把k設為1,訓練資料會全部答對,但連雜訊也一起記住,遇到新點就容易答錯(過度擬合)。把資料分成訓練資料和測試資料來驗證,是這個時代思考方式的核心。

以為知道的事常見說法:2006年辛頓發明了新想法
原始資料中:當年的論文本身就寫著:深層網路應該有用,這一點從1980年代起就很明顯。
進入本章 →

圖所展示的:把k設為1,記住的點會全部答對,但也會把雜訊記住,遇到新點就容易答錯。因此要分成訓練資料和測試資料來確認。

10第10章 · 2012〜2019年

圍棋、將棋與工作的預言

隨機一路下到最後,為什麼就能知道哪一步棋好?

AI在圍棋和將棋上戰勝了一流職業棋士,「工作會消失」的預測成了全世界的話題。日本也掀起AI熱潮,「第3次」的說法流傳開來。這一章也會每次執行1種深度學習的工具(自編碼器、GAN、word2vec、物件偵測、遷移學習、ResNet等)。

讓圍棋變強的1個關鍵,是蒙地卡羅樹搜尋(2006)。走出某一步後,隨機一路下到終局,重複很多次,再用獲勝的比例比較各步棋。右邊的圖是井字棋。增加試下的次數,好棋的勝算就會變得清楚。AlphaGo(2016)在此基礎上,結合了從人類對局中學習的類神經網路和自我對弈。

在日本,2015年資訊處理學會宣布,電腦將棋(譯)頂尖職業棋士。

以為知道的事常見說法:AlphaGo完全靠自己學習變強
原始資料中:2016年戰勝李世乭的版本,也是先以人類的對局為範本學習,再透過自我對弈變強。
進入本章 →

圖所展示的:即使隨機下棋,只要重複很多次,好棋比較容易獲勝的差異就會清楚浮現。

11第11章 · 2017〜2022年

能生成文章和影像的AI

生成文章的AI,正在「關注」哪些詞?

從2017年論文提出的架構(Transformer)出發,能生成文章和影像的AI逐漸發展,並在2022年以人人都能使用的形式登場。

這個架構的核心要素中的1個是。句子裡的某個詞,要用數字決定對其他哪些詞關注多少。在右邊的圖裡,切換一下提問的詞吧。「吃了」會特別關注是誰吃的(貓),以及吃了什麼(魚)。這些數字是本站製作的小例子,並非真正AI的數值。

生成文章的AI,會用這個架構算出下一個詞的機率,再每次選1個詞,逐步選下去。

以為知道的事常見說法:ChatGPT在2個月內就有1億使用者
原始資料中:這不是公司公布的數字,而是銀行分析師根據網站造訪次數推算的估計值。
進入本章 →

圖所展示的:句子裡的一個詞,會用數值決定要關注其他哪些詞、關注多少。「吃了」會關注誰吃了(貓)和吃了什麼(魚)。

12第12章 · 2023年〜

等待核對結果的預言

延長直線,就能知道未來嗎?

現在出現的預言,很多都假設AI做得越大,效能就越高,而且這種關係未來也會持續。右邊的圖把訓練AI所用的計算量(Epoch AI的資料),按每格10倍的刻度排列。用某一年以前的點畫一條直線,再往後延長,就是對未來的預測。移動畫線所用的年份,預測的速度就會改變。

預言也有實現的時候。2022年,2位研究者預測AI能否在2025年以前,在數學奧林匹亞競賽中拿到金牌分數,而2025年7月,這件事發生了。另一方面,國際報告寫道,現在的大型AI內部發生了什麼,連製作它的人也幾乎無法解讀。

第4次熱潮之後會不會有寒冬,目前還不知道。這一章不給答案,只把資料擺出來。

進入本章 →

圖所展示的:用截至哪一年的點來畫直線,會大幅改變預測的未來進展速度。延伸直線所做的預測,前提是原來的條件今後也會持續。

13第13章 · 總覽

波浪、預言地圖與尚未明白的事

AI的預言,說的是多少年以後?

最後,我們把本站的紀錄本身當成資料來研究。右邊的圖是預言地圖。橫軸是做出預言的年份,縱軸是說「到這一年為止」的年份。為了區分靠得很近的點,把它們稍微錯開,再用細線連到原本年份的位置。如果原本年份的位置在目前年份的那條線上方,就是預言的那一年還沒到。

有一項著名的研究(2012)認為,AI的預言多半是15〜25年以後。但那篇論文的第1頁上,現在有一條註記寫著(譯)。計算方式和蒐集方法不同,答案就會改變。

日本的國家教材裡,也有追溯來源後發現內容變了的預言。(譯),原本是2005年一本書裡,關於計算速度的展望圖。

以為知道的事常見說法:新技術一定會走過「期待的山峰
原始資料中:失望的低谷 → 趨於平穩」 → 研究者查證調查公司的圖是否真的照那樣發生,發現連該公司自己的紀錄也對不上。每次都出現相同走勢,是並排時看起來如此,並不是固定的法則。
進入本章 →

圖所展示的:有研究認為,AI預言常說的是15〜25年後,但那項研究也被加上了錯誤註記。計數和蒐集方式不同,答案就會改變。

結語

接下來的1頁,由你來寫

AI的歷史,是一群夢想著會思考的機器的人,持續近400年的挑戰紀錄。有時比想像中更早達成,有時比想像中更遙遠。每一次,都有人做出新的工具,下一個人再用它向前走一步。

在這個網站上,我們回到說話者的書籍和論文,查證那些有名的故事。你可以操作圖、改寫Python程式碼,親手執行相同的原理。從讓你好奇的章節開始,自由地讀下去吧。

預言地圖上,有許多還在等著核對結果的預言。2030年、2045年……。見證這些結果的,是現在還是高中生的你們。而寫下下一個預言、下一項發明的,也一定是你們之中的某個人。