CHAPTER 03/1955〜1960

第1次熱潮的開端

這個名稱誕生(1955〜1960年)

1955年,4個人的計畫書提出了這個名稱。接下來的5年間,出現了搜尋定理證明的程式、從例子中學習的機器、處理符號的程式語言、日本的翻譯機,還有「10年之內」的預言。

011955·名稱與計畫書

提出的夏季計畫書

這個名稱是在哪裡、帶著怎樣的展望誕生的?

1955年8月31日,麥卡錫、明斯基、Rochester、夏農4人寫下了為隔年夏天在達特茅斯學院舉辦研究會的計畫書,向洛克斐勒基金會申請經費。這個詞就出現在計畫書的標題中。計畫書從這樣的假設出發:學習或智慧的任何特徵,原則上都(譯)。

右邊的7個方框,是計畫書列出的研究課題。按下就會顯示內容:語言、類神經網路、計算的規模、自我改良的機器。本章的許多頁面,都是其中某一項的後續。

計畫預計進行2個月,參加者為10人。他們寫道,只要選出的科學家在一個夏天聚在一起研究,就能(譯)。申請的預算是13,500美元,但基金會實際補助了7,500美元。

預算表各項加起來是13,000美元,與表上寫的總額13,500美元相差500美元(已核對麥卡錫網站上的重刊版本,差額的原因沒有寫)。

以為知道的事常見說法:是大家一致同意的名稱
原始資料中:這是麥卡錫選的名稱,當時就有不同意見。Newell與賽門多年來一直使用另一個名稱:。
以為知道的事常見說法:達特茅斯的參加者打算用一個夏天就完成AI
原始資料中:計畫書的說法是(譯)。沒有寫要完成。

圖所展示的:1955年的計畫書從一項猜想出發:學習與智慧的特徵,可以描述得足夠精確,讓機器模仿;它列出7個課題,寫的是「在其中1個或更多問題上取得重大進展」(譯),並沒有說要完成。經費也只拿到申請金額的約一半。

021956·達特茅斯

一個夏天的研究會是怎樣的聚會

「AI誕生的那場大型會議」,實際上是怎樣的聚會?

1956年夏天,達特茅斯學院數學系的頂樓聚集了一批關心會思考的機器的研究者。根據參加者Solomonoff的筆記,時間大約從6月18日前後到8月17日,約8週。與其說是議程固定的會議,更像是人們輪流來訪、互相討論的聚會。

在右邊的圖按「詳細說明:計畫與紀錄」,就能把5月26日麥卡錫告訴基金會的計畫(紫色框),與Solomonoff、More筆記中留下的「當天在場的人」(深藍色圓點)疊在一起查看。全程在場的只有3人,原定的11人中有2人沒來。每天參加討論的大約有3〜8人。

也有人提議讓所有人一起研究一個課題。8月7日,麥卡錫提議研究西洋棋,但沒有成為共同研究。麥卡錫後來說,經費不足,大家也各有其他事情,全員在整個夏天齊聚的計畫沒有實現。

確切的名單沒有保存下來(麥卡錫遺失了自己的名單)。圓點只代表筆記有留下紀錄的日子,沒有圓點的日子也不一定沒來。

以為知道的事常見說法:達特茅斯研究會是讓AI誕生的大型會議
原始資料中:實際上是人們輪流來訪的夏季聚會,每天討論的只有3〜8人左右。基金會提供的經費約為希望金額的一半,也沒有出版研究會的報告。

圖所展示的:達特茅斯研究會不是大型會議,而是人們輪流來訪、持續約8週的夏季聚會。只有3人全程參與,每天討論大約有3〜8人。

第6週(7月23〜27日)每天參加討論的人數(More的筆記)
031956·搜尋

把能做出的證明全都做出來

把能做出的證明依序全部做出來,總有一天會找到想要的定理吧?

Newell、Shaw、賽門挑戰的是《數學原理(Principia Mathematica)》中的邏輯定理。從5條公理出發,用3種規則產生新的定理:把式子代入字母的代入、改寫成同義形式的替換,以及由A和「若A則B」得到B的分離。

最簡單的做法,是把能做出的證明由短到長全部做出來,等目標的式子出現。3人把這叫作大英博物館演算法(British Museum algorithm),作為比較對象。根據報告的數字,到第4層共有42個,到第8層共有246個。要湊齊第2章的全部定理,可能需要1億個左右,他們估計得花幾十萬年。

依序檢查可能的答案,叫作搜尋。逐一檢查時,候選答案太多,因此需要用找捷徑的智慧(啟發式方法)來縮小檢查範圍。右邊的圖,依本站的計數方式逐步產生式子。

第n層的式子數 ≈(第n−1層的式子數)×(一處的改法數)
改法
把p變成 ¬p、把 → 與 ¬…∨ 互相替換 等

圖所展示的:按照長度從短到長,列出所有能建立的公式,公式數量會隨每一階段快速膨脹,很難找到目標定理。因此需要找捷徑的技巧(啟發式方法)。

每一層的式子數(縱軸每格增加為10倍)
041956·邏輯理論家

從答案那一端,往回找

搜尋定理的證明時,怎麼像人一樣先判斷可能的方向?

邏輯理論家(LT)沒有把所有證明都做出來,而是從想要證明的式子那一端往回找。它依序嘗試4種方法。代入法:把式子代入公理或已證明定理中的字母,看能不能變成與問題完全相同的形式。分離法:找「若A則B」形式的定理,其中B與問題相符,再把A當作新的小問題。向前、向後的銜接,也會產生小問題。

1957年的報告中,在第2章最前面的 52條定理裡,它找到了38條的證明。其中17條只靠代入法,19條用2步就解出。2.01約10秒,2.45約12分鐘。2.31約23分鐘後就用盡搜尋的方法。右邊的圖是本站製作的小型LT。按「做到最後」,樹就會向下伸展,綠色的路徑就是證明。

報告用了這樣的比喻:從公理向前走,就像在乾草堆裡找一根針;從目標往回走,則像是找針從乾草堆裡出來的路。

圖中的LT在細節上與1956年的程式不同。報告寫道,用這4種方法無法證明2.13,但本站的例子在對齊形式的方式與預先準備的定理條件上有所不同,因此勾選「也使用預備定理」時,連2.13的證明也能找到。

圖所展示的:邏輯理論家不把所有公式都列出來,而是從要證明的公式反向搜尋,找到能變成已知定理形式的路徑。

051957·會學習的機器

只在答錯時修正權重

只給機器看例子,就能讓它學會辨識的方法嗎?

1957年,康乃爾航空研究所的心理學家羅森布拉特,在海軍研究局的支持下,開始研究。這是模仿神經細胞連結的人工神經元:把輸入(0或1)乘以權重(重視輸入的程度)再加總,總和大於或等於門檻值時,就輸出1。

學習方法很簡單:只在答錯時,把權重朝正確答案的方向稍微修正。在右邊的圖放上●與○,按「繼續學習」,紫色的線會轉動或平移,錯誤(紫色圓圈)的數量也隨之改變。同在康乃爾的數學家Block證明了:只要存在能分類的直線,用這種修正方法就一定能找到。

類神經網路的歷史,從這裡開始。一條直線分不開的問題在第5章,堆疊多層的內容在第8章介紹。

y=1(w₁x₁ +w₂x₂ ≧ t),其餘情況為0。答錯時w ← w+η(正確答案 − y)x,t ← t − η(正確答案 − y)
t
門檻值
η
修正的幅度(圖中為0.5)
紫色的線
w₁x₁ +w₂x₂ 等於t的分界線

圖所展示的:感知器只在答錯時,朝正確答案的方向稍微修正權重。只要能用直線分開,這種修正方式就一定能找到分界線。

每一輪的錯誤數
061957·預言

「10年之內」的4個預言

1957年的研究者,怎麼展望10年後?

1957年11月14日,在匹茲堡學術會議的晚宴上,賽門發表了與Newell合寫的演講(隔年刊登在雜誌上)。他先總結說,當時的電腦能用類似人的方法,解決沒有固定解法的問題,也能從經驗中學習,接著預言10年之內會發生4件事。

成為西洋棋世界冠軍(〈譯〉);發現並證明一個重要的新數學定理;寫出得到評論家認可的樂曲;大多數心理學理論採取程式的形式。他接著還說:(譯)。

也有一些成果可作為線索:證明邏輯定理的程式、會下西洋棋基本棋步的電腦,以及會作曲的伊利諾大學ILLIAC。在右邊的圖往後推進年份,就會顯示核對預言的年份(1968年)與此後發生的事。

電腦打敗當時在位的西洋棋世界冠軍是在1997年,距離預言約40年。電腦本身從未獲得世界冠軍的頭銜。

圖所展示的:1957年的演講預言,10年內會發生4件事,到了驗證的1968年,沒有1件發生。只有西洋棋在約40年後有了明確結果。

071958·批評與回應

他們自己訂下了核對預言的日期

要讓預言可以被檢驗,需要什麼?

演講刊登在雜誌上後,Bellman寫信批評。根據兩人的回應,批評的內容是預言(譯)。1958年的回應中,兩人寫道:(譯)。

兩人解釋說,附上期限、說得具體,是為了避免成為像諾斯特拉達穆斯那樣無法檢驗的預言。不過,要檢驗,除了什麼事會在何時之前發生,還需要怎樣才算預言成真的判定標準。在右邊的圖,試著移除期限與判定標準。西洋棋的結果很明確,但定理、樂曲與心理學的預言,即使期限到了,評價仍會因人而異。

關於心理學的預言,兩人也在回應中寫道,程式是心理學理論的有力候選這一點,(譯)。

西洋棋的判定標準(在對局中打敗當時在位的世界冠軍),是本站暫時設定的。

以為知道的事常見說法:早期的AI研究者毫無根據地誇口
原始資料中:當時就已有批評,說出預言的研究者解釋,附上期限是為了讓預言可以被檢驗,還親自指定了核對預言的日期(1968年1月1日前後)。

圖所展示的:驗證預言,除了什麼事、何時之前,還需要做到什麼才算說中的判定標準。沒有標準,即使期限到了,也無法決定是說中還是沒說中。

091958·LISP

用層層括號,直接處理式子

要計算的不是數字,而是符號式子本身,該怎麼做?

1958年秋天,麥卡錫與明斯基在MIT啟動了。他們沒有寫計畫書,被問到需要什麼時,回答說要1間房間、2名程式設計師、1名祕書、1台在卡片上打孔的機器。同一個秋天,他們開始製作處理符號序列的程式語言LISP(串列處理)。

在LISP中,像 (TIMES X (PLUS X A) Y) 這樣,用層層括號來寫式子。第一個詞表示要做什麼,其餘表示處理對象。基本操作只有幾個:取開頭的car、取剩餘部分的cdr、接到開頭的cons等。1960年的論文只用這些操作,加上條件分支與呼叫自己的函式,就寫出了式子的微分。

在右邊的圖選擇「X(X+A)Y·論文範例」,取消勾選「簡化1與0(本站新增)」,再按「對X微分(DIFF)」,就會以樹狀圖給出與論文相同的答案。表示1的ONE與表示0的ZERO都原樣保留。LISP家族的語言,此後很長一段時間都是AI研究的主要工具。

d(u·v·w)/dX=u′·v·w+u·v′·w+u·v·w′
′
對X微分的結果。DIFF用層層括號直接產生這個形式

圖所展示的:LISP直接用層層括號處理公式,因此只靠取出第一項、取出其餘項目等少數操作,就能計算(微分)公式本身,而不只是計算數字。

101958·常識

推導出去機場前要先做的行動

只要把事實寫成句子,機器就能由此推導出行動嗎?

1958年11月,英國國家物理實驗室舉辦了國際會議。麥卡錫在會上發表了。這個構想是把事實與建議寫成邏輯式,從中推論,得出「要做……」的結論後就執行(Advice Taker)。

論文的例子,是我在家裡的書桌旁,要去機場的問題。從at(I, desk)(我在書桌旁)、at(car, home)(車在家裡)、walkable(home)(家裡可以步行)、drivable(county)(郡內可以開車)等17個前提,依序推導出8個結論,最後得出do(go(desk, car, walking)),也就是先走到車旁。

在右邊的圖按「推導下一步」試試。只要移除1個前提,就找不到計畫了。

論文寫道,如何收集17個前提、如何推導,仍無法完全回答。圖中的推導順序,是按照論文結論的排列設定的。

圖所展示的:把事實和建議寫成公式,就能依序推理,得出「先走到車子旁」這個行動。拿掉1個前提,就找不到計畫。

111958·模式辨識

用惡魔們的喊聲辨識文字

辨識文字的機制,能拆成許多小零件嗎?

在同一場會議上,Selfridge發表了名為(意思是所有惡魔聚集的地方)的機制。最底層的資料惡魔,各自尋找文字的一部分(橫線、縱線、圓弧等),並按照找到的把握程度大聲喊叫。上層的辨識惡魔,收集符合自己文字的喊聲,再喊出來;最上層的決策惡魔,則把喊聲最大的文字當作答案。

他也提出了學習方法:從外部一點點改變惡魔們的擴音器音量,選出成績提升最多的調整,持續重複(爬山法)。在右邊的圖按「繼續調整」,正確率就會從音量為0的狀態開始上升。

找出特徵、乘以權重再組合的結構,與感知器及後來的類神經網路是同一種機制。

辨識惡魔k的聲音 =Σi 音量k,i × 資料惡魔i的聲音
音量k,i
惡魔k聽惡魔i聲音時的權重(學習的部分)
答案
聲音最大的k

圖所展示的:把尋找字形局部特徵的小惡魔的喊聲,乘上音量(權重)再收集起來,就能辨認文字。只要一點點改變音量,選擇讓成績提高的方向(爬山法),就能學習。

121959·GPS

選擇能縮小與目標的一步

能設計出適用於任何問題的解法嗎?

Newell、Shaw、賽門在邏輯理論家的基礎上製作了,以1959年6月巴黎會議的預刊論文形式發表報告(報告日期是1958年12月30日)。之所以叫作「通用」,是因為他們把問題的內容(邏輯、代數、三角公式等)與解法分開設計。

解法的核心是手段—目的分析。比較目前狀態與目標,找出差異,選擇能減少這個差異的一步。如果使用這一步的條件還沒滿足,就把滿足條件當作新的小目標。這樣在目標中產生目標,同樣的步驟便能層層重複使用。

右邊圖中的第一個問題,是本站設計的製作奶油吐司問題。只要替換哪一步能減少哪種差異的那張表,同樣的解法就能用在其他問題上。

報告的目的之一,是讓程式的行為接近大學生一邊出聲思考、一邊解邏輯題的紀錄。報告中給出的例子是符號邏輯、初等代數與三角公式。

圖所展示的:找出目前狀態和目標的差異,選擇能減少差異的行動;若行動條件不足,就把缺少的條件當成新的小目標。換掉表格,同樣的解法就能用在別的問題上。

131959·日本

我喜歡音樂

當時的日本,製作了怎樣的「會思考的機器」?

1958年夏天前後,電氣試驗所開始了把英語翻譯成日語的專用電腦「Yamato」的計畫。當時手邊沒有配備能存放字典的大容量記憶裝置的電腦,於是用電晶體電腦ETL Mark IV的電路製作專用機。預算是600萬日圓,記憶裝置是82萬位元的磁鼓。1959年2月,放入以打孔方式記錄I like music的紙帶,它就印出了(ワレガ オンガクヲ コノム)。

為了避開日語輸入(漢字與詞語切分)的困難,他們選擇從英語翻譯成日語。即便如此,仍需要把動詞移到句末、移動介系詞、補上日語助詞(ガ、ヲ 等)。代名詞方面,把I譯成「我」(ワレ),you譯成「你」(ナレ),he譯成「他」(カレ)。在右邊的圖,一步一步走完翻譯流程吧。

指示執行計畫的和田弘回憶說,直到開始印出第一句譯文的13秒,讓他覺得非常漫長。成果於1959年6月,在巴黎的第1屆國際資訊處理會議上發表。

圖中的字典與規則,除了代名詞的譯法之外,都是本站製作的例子。Yamato如何翻譯在巴黎展示的 I have some eggs in my hand.,資料裡沒有記載。

圖所展示的:「Yamato」是把英語譯成日語的專用計算機,透過查字典、把動詞移到句尾、加上日語助詞「ガ」和「ヲ」,把I like music印成意思是「我喜歡音樂」的日語。

141959·機器學習

自己修正評分方式

程式能變得比寫出它的人更強嗎?

IBM的Samuel持續研究讓電腦從經驗中學習下西洋跳棋(在8×8棋盤上,跳過棋子互相吃子的遊戲)。能學習的版本在1956年2月24日於電視上示範。1959年論文的摘要寫道,經過8〜10小時的對局,程式能下得比寫出它的人更好。

棋局的分數,是把棋子數量差、可走的步數、是否占據中央等特徵,乘以權重後加總。程式往前看幾步,假設自己選分數大的、對手選分數小的,把分數向上傳遞(極小極大法)。學習方法之一,是修正權重,讓往前看之前的分數,接近看過後傳上來的分數。在右邊的圖按「學習」試試。

不把解法全部寫出來,而是讓它從例子或經驗中學習,這就是機器學習。

w ← w+η(傳上來的分數 − 往前看之前的分數)× 特徵
w
權重
η
修正的幅度
分數
特徵 × 權重 的總和(圖中的數值是本站製作的例子)

圖所展示的:Samuel的跳棋程式會自行修正權重,讓搜尋前的分數接近往後搜尋、再傳回來的分數。不把解法全部寫好,而是讓機器從經驗學習,就是機器學習。

151960·Mark I

隨機接線與馬達轉動的旋鈕

把會學習的機器做成實體機器,而非程式,會怎樣?

1960年6月23日,感知器的專用機器Mark I首次公開。權重用馬達轉動的(電位器)來調整,接線則透過大型插接板連接。根據1961年的報告,它配備了512個A細胞與8個輸出答案的R細胞。組裝由Wightman與Martin負責,實驗由Hay負責。

結構分3層。從視網膜(S)的點到A細胞,只是隨機選點連接,這部分不學習。學習的只有A細胞到R細胞的權重。右邊的圖仿照同一份報告的實驗1,在上下、左右首尾相連成環的視網膜上,辨識橫棒與豎棒。

如果不經過A細胞,直接連接視網膜,不管學習多少輪,錯誤都不會消失。因為無論權重設成多少,所有橫棒的平均分數與所有豎棒的平均分數都相同。中間加入80個隨機的A細胞後,其中就會有能捕捉點的組合的細胞,幾輪之內錯誤就降到0。

報告還記錄了一項實驗:即使擔任教師的人故意有30%教錯,機器仍能100%辨識E與X(這與修正錯誤的學習法是不同的方法)。Mark I目前保存在史密森學會。

圖所展示的:直接連接視網膜,不論學習多少輪,都無法分開橫線與直線。中間加入隨機接線的A細胞,幾輪後錯誤就變成0。

每一輪(16條)的錯誤數
161960·人與電腦

一台電腦,大家分著用

在讓機器負責所有思考之前,人與電腦該怎麼合作?

1960年3月,Licklider發表了論文。如同無花果樹與傳播花粉的昆蟲互相幫助,他構想了一種合作方式:由人決定目標、提出假設、訂定標準並評估,電腦負責固定流程的工作。他曾在1957年春夏記錄自己的工作,結果發現,思考時間約有85%用於思考前的準備(尋找、計算、畫圖表等)。

為此需要的技術之一,是分時系統(把一台電腦的時間切成小段,分給許多人使用的機制)。他認為,當時的大型電腦若只跟一個人一起思考,速度太快、費用也太高,因此應該讓許多人分享使用時間。在右邊的圖與排隊等候比較看看。即使電腦處理時間的總和相同,收到第一次回應前的等待時間也會短很多。

以為知道的事常見說法:Licklider預言到1980年機器就會思考
原始資料中:論文中的是在介紹空軍研究會的估計。對於人與電腦合作的時代會持續多久,他本人則保留了很大的範圍:(譯)。

圖所展示的:分時系統把1台計算機的時間切成小段,分配給不同使用者。處理時間的總和相同,但等到第一次回應的時間會短得多。

171976·核對預言

四色問題:人的推理與電腦的大量計算

什麼時候,才能說電腦證明了定理?

對於(譯)這個預言,在這10年之內,找不到足以這樣說的事件紀錄。1976年,Appel與Haken證明了(任何地圖都能用4種顏色上色、讓相鄰區域顏色不同的問題,起源於1852年前後)。然而,證明的思路與形狀分類的步驟是人設計的,電腦負責逐一檢查將近2000種形狀。

右邊的圖,是讓電腦替本站製作的範例地圖著色。一個國家接著一個國家上色,沒有可用顏色時就退回前一步(回溯)。A、B、C、D彼此全都相鄰,因此不管怎麼試,3種顏色都不夠。替一張地圖著色的搜尋計算,與證明對所有地圖都成立的定理,是兩回事。

1996年10月,證明搜尋程式EQP花了約8天,自動找到自1930年代起一直未解的的證明。這兩件事中,問題本身都是人早已提出的。

以為知道的事常見說法:1976年電腦證明了四色定理
原始資料中:發表的本文寫的是,分類步驟由人手動設計,電腦負責逐一檢查許多形狀。

圖所展示的:電腦能用塗色、遇到死路就退回的方式,替1張地圖分配顏色。但這只是1張地圖的計算,與所有地圖的證明是兩回事;四色定理的證明思路也是人建立的。

結語

本章仍然不清楚的事

達特茅斯研究會確切的參加者名單沒有保存下來。只能從留下的部分筆記,一點點拼出誰在什麼時候來過。常有人說machine learning(機器學習)這個詞是Samuel在1959年創造的,但還沒有找到資料能確認這是不是最早的用法。

4個預言中,結果明確的只有西洋棋,而且是約40年之後。定理、樂曲與心理學的預言,缺少什麼情況才算成真的標準,至今評價仍因人而異。要讓預言可以被檢驗,除了期限,還需要判定標準。

這5年間,利用符號規則、用找捷徑的智慧搜尋的路(邏輯理論家、GPS、LISP),以及從例子中修正權重來學習的路(感知器、萬魔殿(Pandemonium)、Samuel),並肩起步了。這些想法也直接連到日本高中資訊科目「資訊Ⅰ」中的演算法,以及「資訊Ⅱ」中機器學習的基礎概念(日本國家編製的資訊Ⅱ教材中,「學習17」介紹的就是感知器)(這是本站的看法)。下一章會看1960年代,搜尋、推測的AI進展到哪裡,又出現了哪些預言。