第2次熱潮之後的寒冬，與悄悄長出的新芽

1984年的討論描繪的「AI寒冬」最壞情境──與後來的發展對照

美國人工智慧協會（AAAI）的大會上，舉行了一場題為「AI的黑暗時代──能避免嗎？能撐過去嗎？」的討論會。主持人Drew McDermott說，在產業界的熱鬧背後，多年從事研究的人心中有著源於這樣一種擔心的深深不安：「也許人們對AI的期待太高了，最終會招致災難」。他描繪了一個最壞的情境：5年後美國的「戰略運算計畫」失敗，日本的第五代電腦也陷入僵局，創業公司倒閉，對AI的資金停止，大家都改掉研究的名字。他介紹說，有人把這種狀態稱為「AI寒冬」。不過他本人也表示，認為這種情形發生的可能性不大。討論中，另一位研究者（Roger Schank）說，他被問到是否認為災難會來時回答說會來。另一方面，也有人提出了「會有AI寒冬嗎？我認為可能會迎來AI的黃昏」這樣的意見（同一個人接著說，泡沫也許不是破裂，而是稍微縮小一點）。

後來：後來，計畫的重點中的1個——自動駕駛車（ALV）的開發於1988年4月被終止。1987年上任的主管部門負責人也終止了一部分AI計畫。該計畫於1993年從DARPA的預算中消失。美國人工智慧協會的會員數在1987年達到16,421人的峰值，到1996年穩定在4,000~5,000人。開發專家系統的AI企業，多數倒閉、被收購或轉了行。日本的第五代電腦計畫在1992會計年度結束了主體部分。Nilsson寫道，這些事件在1980年代中後期相繼發生，被稱作「AI寒冬」。

還不清楚的事：情形中的1個「大家都急忙把研究計畫的名稱改成別的」在1990年代是否真的發生過，沒有用原始資料確認（u08 中處理的候選內容）

1984年，「AI寒冬（AI Winter）」被用來稱呼未來可能出現的最壞情況

在AAAI-84的討論會上，主持人Drew McDermott說，研究者之間有一種擔憂：人們對AI的期待太高，總有一天會出大問題。他舉出的最糟糕的情形是：5年後strategic computing initiative（戰略計算計畫）慘敗，日本的第五代電腦也不順利，日本政府很快從電腦領域撤手，新興企業全部倒閉，與AI相關的事情再也拿不到錢。他把這種情形形容為「這種被一些人稱為『AI寒冬』的狀態」，並呼籲大家以此自我告誡，也把這一點傳達給社會。也就是說，「AI寒冬」是在第2次熱潮正當中，作為對未來的警告而出現的詞。把1970年代研究經費的減少稱為「第1次寒冬」，是後來才加上的叫法。

還不清楚的事：最先說出「AI Winter」的人是誰還不清楚（連討論中也只說是「被一些人」）。Ngram裡1983年那個很小的數值是哪本書，沒有確認。

AI專用「Lisp機器」公司的產品，逐漸輸給一般工作站（1980年代末）

從1980年前後起，Symbolics公司等一直在製造並銷售專用電腦「Lisp機器」，讓AI研究中常用的程式語言Lisp運行得很快。據Symbolics 1位創辦人的回憶，Sun和Apollo等新的「工作站」登場後，普通電腦也能相當好地運行Lisp了。因此，專用機的優勢一下子變小。他還寫道，銷售額的大部分依賴於對專家系統（寫入專家知識的AI）的期待，而這種期待膨脹過度，1988年前後迎來反彈，成了「AI寒冬」。公司一再裁員。據MIT課程上寫的學生論文（2001），Symbolics的產品銷售額在1986、1987、1988年度分別下降為1億160萬美元、8,210萬美元、5,560萬美元。在日本，1991年的白皮書也寫道，用於AI的機器已不是專用機，而是以普通電腦、尤其是個人電腦為中心了。

還不清楚的事：Symbolics和LMI的年度報告等公司的原始資料沒有打開過。MIT 1999年的畢業論文「If It Works, It's Not AI」，因為MIT的網站出現了人工驗證網頁，沒有獲取。

1991年，政府監修的白皮書：日本「沒有迎來以前在美國出現過的AI『寒冬時期』」（譯）

《AI白皮書1991》記載，日本沒有迎來以前在美國出現過的那種AI「寒冬時期」。書中認為，原因也許是使用者自己找到了AI能見效的用途（同時也寫道，美國已經經歷過「寒冬時期」）。白皮書的調查（1989年12月至1990年1月，寄給7,084個事業所，1,844個回覆）顯示，回覆的事業所中有37.8%（在使用電腦的事業所中為26.2%，共379處）引進了AI。白皮書報告說，比1988年調查的20.6%增加了17.2個百分點。在引進方中，46.2%使用專家系統（寫入專家知識的機制），20.6%使用機器翻譯。

還不清楚的事：1991年之後日本的AI應用發生了怎樣的變化（寒冬是什麼時候來的，或者到底來沒來），這份白皮書無法得知。調查結果也只是回覆的事業所（佔寄出數的26%）的比例，不是日本整體的比例。

人工智慧學會的會員數（1986〜2003年）──正式會員在1993年、贊助會員在1991〜92年達到高峰。贊助會員到2003年減至不到3分之1。學生會員的增加趨勢持續到2002年

把人工智慧學會每年總會報告中登載的會員數排在一起：正式會員是1986年7月成立時約600人 → 1988年2,554人 → 1990年3,625人 → 1993年3,893人（最多）→ 1995年3,269人 → 1999年3,044人 → 2003年2,789人。由企業等支撐學會的贊助會員，是約30家 → 1988年100家 → 1991、1992年155家（最多）→ 1995年96 → 1999年65家 → 2003年49家，從峰值減到了3分之1以下。另一方面，學生會員雖有增減，但增加的趨勢持續，從1988年的266人到2002年變成了539人。2003年的報告是這樣寫的：會員數這幾年一直在慢慢減少，今年出現了約4%的大幅減少。由於企業研發部門的縮減，不僅正式會員減少，此前一直在增加的學生會員也開始減少。

還不清楚的事：關於會員減少的原因，學會的報告只在2003年寫了「企業研發部門的縮減」（譯），更早年份的原因沒有寫。它與「AI這個詞不受歡迎」（譯）這一回憶有多大關係，光看這些數字無法得知（參見記錄 → 1990〜2000年代人工智慧一詞不受歡迎的說法來源──2023年學會期刊…）。

1990年，模糊控制洗衣機上市，「模糊」獲得新語、流行語大獎的新語部門金獎

松下電器於1990年2月1日推出全自動洗衣機「愛妻號Day模糊」（譯）。它用光感測器檢測洗滌水的渾濁程度，按6條規則決定洗滌時間，比如「飽和時間長且透光度低時，就把洗衣時間設得很長」（譯）（飽和時間指渾濁穩定下來所需的時間，透光度指光線透過的難易程度）。這些規則是根據家庭中收集的資料和技術人員的經驗制定的。同年的「新語、流行語大獎」（譯）中，「模糊」被評為新語部門的金獎。主辦方解釋說，這台洗衣機是把模糊理論應用於家電的第1號，成了熱潮的導火索，各公司紛紛加入，形成了很大的模糊市場。

還不清楚的事：模糊家電後來賣了多少（銷量等），沒有查證。

國際模糊工程研究所（LIFE）：48家公司在政府支持下，研究處理「模糊性」的技術，為期6年（1989〜1995年）

為了把處理帶有「模糊性」的資訊的模糊理論應用到工程上，1989年成立了技術研究組合「國際模糊工程研究所（LIFE）」（譯）。參加的不僅有電腦企業，還有汽車、鋼鐵、證券等48家公司（到1989年度末是49家）。研究期間約6年，預計研究開發費用約50億日圓（1991年白皮書的時點）。研究所設有3個研究室，研究模糊控制、模糊智慧資訊處理和模糊電腦。據2005年的回顧，橫濱大棧橋附近的研究所裡先後共有66名研究員，活動到1995年。所長6年間由寺野壽郎擔任。

還不清楚的事：實際花費的總額（1991年的白皮書只寫了「目前預計研發費用總額約為50億日圓」（譯））沒有確認過

仙台市地下鐵通車，列車自動駕駛採用「預見模糊控制」（處理模糊性的規則式AI）

1987年7月15日，仙台市地下鐵（日本第9個城市地下鐵）開通。日立製作所開發的列車自動運行裝置採用了「預見模糊控制」。它是用「IF〜THEN〜形式」（譯）（如果……就……的形式）寫成的AI（知識工程）規則，用來取代熟練司機的技術。文章寫道，乘坐舒適度和停車精度得到提高，也實現了節能，並把這種預見模糊控制介紹為「世界上第一個」（這是研製公司的文章裡的說法）。

還不清楚的事：「世界上第一個」是研製公司文章裡的說法，沒有用其他資料查證過。

雜誌「日經AI」的歷程（1985〜1994年）──每2週發行的專業雜誌，1992年4月從刊名移除「AI」，改為「日經智慧系統」，1994年10月停刊

日經BP社從1985年9月9日的「創刊前特別第1號」（譯）開始出版AI（人工智慧）專業雜誌《日經AI》。從1986年1月6日的第1號起，每2周發行一期（雙週刊）。1990年起還出了季刊《日經AI別冊》（譯）。但在第150號（1992年3月23日）之後，從第151號（1992年4月6日）起刊名改成了《日經智慧系統》，刊名裡的「AI」二字消失了。隨後以第211號（1994年10月3日）為最後一期休刊（別冊也在1992年改為《日經智慧系統別冊》（譯），1992年秋季號後休刊）。這是一本誕生於第2次熱潮之中、在1990年代初改了刊名又休刊的雜誌的記錄。

還不清楚的事：改名為「智慧系統」的理由、休刊的理由、發行量的變化，本站都沒有確認（沒有翻開雜誌實物和當時的公告）。

1990〜2000年代「人工智慧」一詞不受歡迎的說法來源──2023年學會期刊的回憶（甚至談到學會改名），以及1996年學會期刊的「AI寒冬」「人工智慧的寒冬時期」（譯）

2023年，人工智慧學會志用封面的系列畫描繪AI的歷史，在第3幅中取材於「第二次寒冬」（約1992年至約2010年）。在解說中，松原仁回顧說，當時雖然也有深藍（Deep Blue）這樣的大新聞，但AI這個詞不受歡迎，並不被當作AI的範疇來看待。學會也因會員和企業會員不斷減少而瀕臨垮掉，甚至考慮過改名。谷口忠大寫道，那是一個想研究人工智慧、一說「人工智慧」就會被人另眼看待的時代，2000年代對類神經網路的逆風很強。同年11月號的座談會上，松原說，也有人講過，寫上「人工智慧」就不容易通過國家研究經費（科研費）的評審。另一方面，同一個5月號裡封面畫作者的解說，把這一時期研究者不再自稱「人工智慧」而是自稱各個具體專業領域的原因，解釋為「源於研究領域本身的擴大」（譯）。再往前追溯，1996年5月的同一學會志（成立10週年紀念號）中，北野宏明寫道，「AI寒冬」「AI是失敗的」（譯）這樣的說法在一部分報導中傳開了（不過他也寫道，專家系統等成果已經滲透）。在此基礎上，他提出以「AI重獲地位」（譯）為目標。在企業任職的莊子幹雄也寫道，他有時會聽到「人工智慧的寒冬時期」（譯）這個詞。同一期的座談會上，也有人提出，新技術即使不叫AI，只要有用就好。

還不清楚的事：寫了「人工智慧」的研究經費申請是否真的難以通過，沒有找到統計過的資料。學會改名是什麼時候、在哪裡討論的當時記錄，也未確認。

第五代計畫之後的國家計畫「真實世界運算（RWC）」（譯）（1992〜2002年）──從符號與邏輯，轉向影像、語音等「模式」與「學習」

通商產業省作為繼第五代電腦之後的國家計畫，1992年啟動了為期10年的「真實世界運算（RWC）」（譯）計畫。據主導該計畫的大津展之說，第五代追求的是人類思考的「邏輯層面（符號處理）」（譯），而RWC的目標是「直覺層面（模式處理）」（譯）。也就是說，這是通過學習（根據例子自己調整機制）和自我組織，靈活處理影像、聲音、日常語言這類含糊資訊的技術。1994年的解說文章介紹這是一個「今後10年間約700億日圓」（譯）的計畫，並舉出家務機器人和電子圖書管理員作為例子。1992年7月成立了研究組合（RWCP），除日本國內的大企業外，德國、荷蘭、瑞典、新加坡的研究機構也參加了。前5年（1992—1996年）廣泛探索，後5年（1997—2001年）收縮到「真實世界智慧」和「平行分散式運算」這2個方向。2002年的總結寫道，10年間的預算約600億日圓，並列舉了手語辨識系統、不用索引就能互相檢索聲音・影片・文章的軟體、可供研究自由使用的音樂資料庫等成果。其中還記載，在計畫期間就有約2成（14項）成果被產品或實際業務採用。

還不清楚的事：RWC的模式處理和機器學習研究，後來與第3次熱潮（深度學習的AI）是怎樣聯繫起來的，或者沒有聯繫起來，翻開過的資料裡都沒有寫（2002年的總結所列的學習機制，有多層類神經網路、貝氏推斷、遺傳演算法等）。

第五代電腦之後的2年：免費公開100套軟體，支援UNIX（1993〜1995年）

第五代的主體計畫於1993年3月結束，4月起後續的「研究基礎化計畫」（譯）開始了。過去只能在平行推理機上執行的軟體，透過將KL1轉換成C語言的機制（KLIC）等辦法，被移植到當時剛上市的UNIX平行電腦等設備上執行。開發出的軟體以「ICOT自由軟體」（譯）的名義無償公開，數量從1992年6月的71套，到1995年3月底增加到共100套。這些軟體的著作權歸ICOT而不是國家，記錄中寫道，公開時去掉了妨礙研究的限制。這個後續計畫投入了約28億日圓，由國家預算支持的研究開發在1995年3月全部完成。

還不清楚的事：公開的100套軟體後來被用了多少（下載次數等），這份記錄裡沒有查證（「通產研究評論」第126頁的圖5有到1995年2月為止的存取次數圖）。

日本電子化詞典研究所（EDR）：花9年由人手編成讓電腦處理日語與英語語意的大型詞典（1986〜1995年）

為了打下讓電腦理解自然語言的基礎，開發大規模、高品質「電子化詞典」的公司「日本電子化詞典研究所（EDR）」（譯）成立，計畫於1986年4月啟動。基盤技術研究促進中心出資（《AI白皮書1991》），8家電腦企業也出了資金（EDR 1996年的論文）。他們編了描述單字語法和語義的「單字詞典」、整理概念之間關係的「概念詞典」、記錄詞語搭配的「共現詞典」、給出日語和英語對應關係的「雙語對譯詞典」等。現在，資訊通訊研究機構（NICT）的網頁所介紹的詞典，規模是日語約27萬詞、英語約19萬詞、概念約41萬個、日語例句約20萬句等。第五代電腦的最終評估寫道：收集語言之外的龐大知識，僅靠ICOT是有限度的，期待EDR的詞典。

還不清楚的事：這項計畫花費的總費用，在看過的資料中沒有寫。

政府對第五代電腦的支出：主計畫11年約541億日圓，加上後續2年約569億日圓

據通商產業省的研究所（通商產業研究所）1995年整理的表格，國家對第五代電腦計畫的投入，在1982—1992年度的11年間約為541億日圓（前期83億日圓、中期216億日圓、後期242億日圓）。此後，1993—1994年度這2年的收尾計畫（讓做出來的成果在一般電腦上也能使用的計畫）又撥了約28億日圓，合計約569億日圓。常見的「約540億日圓」和「570億日圓」，區別只在於是否把後面這2年算進去。

還不清楚的事：這張表只有國家（通商產業省）拿出的錢。參與企業自己承擔的資金和人員，沒有算在這張表裡（從表的說明中能讀出的範圍）。

1986年ATR自動翻譯電話研究所──研究將語音自動翻成對方語言的電話。1993年1月連通日本、美國、德國進行實驗（詞彙約1500個）

把電話中的語音自動翻譯成對方語言的「自動翻譯電話」，是把語音辨識（聽辨聲音並變成文字）、機器翻譯和語音合成（電腦生成聲音）組合起來做成的。1986年4月，ATR（國際電氣通訊基礎技術研究所）內部成立了「ATR自動翻譯電話研究所」（譯）。確認要素技術的基礎研究開始了，到1988年，包括來自海外的客座人員在內，研究人員達到47人。研究所面向口語的翻譯，還製作了大規模的帶標籤語音資料庫，以及大量收集用例的資料庫。作為研究成果，研究所做出了語音翻譯的實驗系統ASURA，1993年1月28日進行了連通日本、美國、德國3個國家的自動翻譯電話國際聯合實驗。ASURA用約1500個詞的詞彙翻譯按詞組稍作停頓說出的句子（前一版SL-TRANS不到400詞）。研究於1993年3月結束，由ATR語音翻譯通訊研究所接續。

還不清楚的事：ATR的研究經費來自哪裡、金額多少，打開過的資料裡沒有寫（本站沒有確認）。1993年的國際實驗翻譯得有多準，本站打開過的第1頁裡也沒有確認到數字。

物理學家霍普菲爾德發表能由局部想起整體的類神經網路

物理學家約翰·霍普菲爾德發表了一種把許多簡單的「模仿神經」的單元全部相互連接起來的結構。只要給它看記住的內容的一部分，就能恢復出整體（聯想記憶）。他借用研究磁體性質的物理學思路（整體會落到「能量低的地方」）來解釋這一點。

還不清楚的事：真實的大腦是否真的用這種機制來回想記憶，這篇論文並沒有確認（論文中的模型，是以神經活動的一部分為基礎，用物理學思路來研究的）。

波茲曼機：以機率決定開啟或關閉的網路，以及隱藏單元的學習規則（1985年）

波茲曼機是這樣一種網路：取「開」或「關」2種狀態的神經元（單元）之間，用雙向且強度相同的權重相連。每個神經元根據周圍神經元的狀態和權重所決定的機率，選擇開或關。把溫度（決定隨機性大小的數）從高處一點一點降低，整個網路就容易穩定在能量較低的狀態（與物理中的退火是同一種思路）。1985年Ackley、辛頓、Sejnowski的論文，針對除了由外部賦值的可見單元之外、還帶有不由外部賦值的隱藏單元的網路，給出了讓它學會模仿資料出現方式的規則。規則是：比較「給它看資料、把可見單元固定住」和「什麼都不給看、讓它自由運行」這兩種情況下，相連的2個神經元同時處於「開」的機率。權重按兩者的差來調整，而調整量只取決於這2個神經元的狀態。

還不清楚的事：1983年發表的2篇預印稿（署名出現的AAAI-83論文，以及1985年論文所引用的Hinton & Sejnowski 1983）哪一篇先發表，沒有查證。波茲曼機本身在1980年代的實際工作中用到了什麼程度，也不清楚。

受限波茲曼機（RBM）源自Smolensky在1986年提出的harmonium：只在2個層之間連結的波茲曼機

受限波茲曼機（RBM）是把波茲曼機的神經元分成2層（可見層和隱藏層），並把連接限定在層與層之間的結構。由於層內沒有連接，只要一層的值確定了，另一層的神經元就可以全部同時算出來。它源自1986年出版的Parallel Distributed Processing一書第1卷第6章中，P. Smolensky提出的harmonium：上層放知識碎片（knowledge atoms），下層放各個事物的特徵（representational features），整個上層與整個下層交替成批地更新。書中寫到，名字是仿照1960年Selfridge和Neisser的模式辨識機制pandemonium取的。2002年，辛頓想出了一種名叫對比散度（contrastive divergence）的快速學習法，使它在2000年代成為逐層（每次1層）訓練深層網路的重要工具（諾貝爾獎委員會的解說）。

還不清楚的事：第一個使用restricted Boltzmann machine（受限波茲曼機）這個名字的是誰，尚未確認（辛頓2002年在談到1992年Freund和Haussler的工作時使用了這個名字）。Smolensky在1986年寫這一章時的所屬機構，因章節的PDF中沒有而未寫。

甘利俊一「適應性圖樣分類器的理論」（根據誤差逐步更新權重的學習理論）

甘利俊一從數學上分析了一種學習方法：每看到1筆資料，就根據誤差一點一點地更新權重（對哪個特徵看重多少）。英語論文的摘要裡寫了：即使是難以清楚分類的資料，也能證明會逼近最佳權重；學習速度與準確度之間的取捨；以及向分段線性（像折線一樣）判別的擴展。在1968年的日語解說裡，這種學習方法被稱為「隨機下降法」。Schmidhuber（2022）寫道，這大概是最早用隨機梯度下降（現在深度學習的基本學習方法）訓練多層類神經網路的論文。

還不清楚的事：5層網路實際上能學到什麼程度（1968年的書・H. Saito的碩士論文），因為沒有打開原始資料，所以不清楚。

以誤差反向傳播法訓練多層類神經網路的論文刊登於Nature

Rumelhart、辛頓、Williams發表了訓練在輸入與輸出之間帶有「隱藏層」的類神經網路的方法。他們把輸出與正確答案的差（誤差）從輸出端依序傳回輸入端，同時逐步更新連結的強度（「反向傳播誤差」＝誤差反向傳播法）。實驗顯示，隱藏層會自行表徵沒有被教過的特徵。

還不清楚的事：隱藏層裡表示了什麼，人要讀懂，在這篇論文的小例子（家譜）裡是做得到的。但在大的網路裡，至今只弄清了一部分（與第4次的單元相連）。

NETtalk：「透過練習」學會朗讀英語句子的類神經網路

Sejnowski和Rosenberg開發了名為NETtalk的類神經網路，它能一邊看例子，一邊學會把英語的字母轉換成發音。用1年級小學生談話的文字記錄中的1024個單字來訓練，反覆練習10遍左右，發出的音就已經能讓人聽懂意思。用沒學過的其餘439個單字來測試，成績是78%。此前市售的朗讀機，是把常用單字的讀法登記在表裡，再按固定的規則去讀。

還不清楚的事：據論文所述，即使連接權重（權值）不同的網路，其隱藏層裡「字母與發音對應關係的表徵方式」也是相似的。這是探究類神經網路內部的較早的例子。

1989年，日本神經迴路學會成立──源自1980年由19人開始的小型研究會。當時美國大會的氣氛是「AI（人工智慧）的時代已經結束，接下來是類神經網路的時代」（譯）

研究模仿大腦神經迴路（即類神經網路）的運算模型的學會「日本神經迴路學會（JNNS）」（譯），於1989年7月21日在神田的學士會館召開了成立大會。首任會長是福島邦彥。它原本是1980年以福島等NHK研究所的人為中心向全國發出號召、尚不是學會的小型研究會（神經資訊科學研究會），第1次的參加者有19人。1980年代後半期美國興起「類神經網路熱潮」後，參加者急劇增加。1987年超過了100人，集訓的形式已無法維持，於是把研究會發展成了學會。福島回憶說，1987年在美國召開的神經迴路國際會議的會場，充滿了「AI（人工智慧）的時代已經結束，接下來是類神經網路的時代」（譯）這種滿懷希望的氣氛。

還不清楚的事：成立大會的日期和地點依據的是回憶。當時的通知和報告（1989年的JNNS News Letter等），本站沒有打開查閱

自編碼器的起源：1985〜1987年，讓輸入通過狹窄的中間層，再輸出相同內容的任務

自編碼器是一種類神經網路，訓練它輸出與輸入相同的資料。中間層的神經元數量設得很少。因為輸入無法原樣通過，中間層就得自己學會把輸入壓縮成少量數值來表示的編碼。前半部分擔任把輸入變成編碼的角色（編碼器），後半部分擔任把編碼還原回去的角色（解碼器）。這種結構出現在1985年波茲曼機論文的encoder problem（編碼問題）和1986年反向傳播那本書的一章中。在這一章裡，讓網路學習的課題是：把8個輸入經過3個隱藏層神經元，再現為相同的8個輸出。結果隱藏層的神經元給8個輸入分別分配了各自獨有的編碼（不僅用了0和1，也用了中間的值）。1987年，Ballard提出了把輸入與輸出相同的自聯想（autoassociative）網路疊在一起的方法。這是一種上層接收下層隱藏層的表示並加以學習的機制。

還不清楚的事：最先使用autoencoder（自編碼器）這個詞的論文，沒有確認（打開過的當中最早的是1993年NIPS上辛頓和Zemel的論文）。1991年克雷默關於非線性主成分分析的論文，因為收費，沒有打開。當時在日本是否有人研究過讓網路輸出與輸入相同的東西（稱為沙漏型、恆等映射學習等），找過但沒有找到決定性的線索。

Elman的簡單遞迴網路（1990年）與Jordan的網路（1986年）：把前一刻的狀態送回輸入，記住時間的變化

遞迴類神經網路（RNN）是一種把輸出送回下一個時刻的輸入，從而保持過去記憶的機制。1990年Elman提出的形式，是在普通的3層網路上增加了情境單元（context units）。每個時刻隱藏層的值原樣複製到情境單元裡（連接權重固定為1，不參與學習），到下一個時刻再和輸入一起送進隱藏層。這樣，用反向傳播訓練它去預測接下來的字母或單字，結果在字母串裡，單字開頭處誤差大，隨著單字推進誤差變小，沒有標出間隔的字母串裡，單字的切分處就這樣浮現出來了。在單字序列中，把隱藏層的表示按相似程度歸類，也分成了名詞和動詞、有生命和無生命等類別。Elman寫道，這個想法始於Jordan 1986年的報告。Jordan的網路把輸出送回狀態單元，從固定的計畫（plan）生成動作序列，被應用到說話時聲音的銜接（協同發音）上。

還不清楚的事：Elman網路與同一時期的其他遞迴網路（1987—1988年Pineda、Williams和Zipser等）之間，誰先提出了什麼，先後順序不清楚，因為沒有打開原始論文。

貝爾研究所的Yann LeCun等人，發表讀取手寫郵遞區號的「卷積」類神經網路

Yann LeCun等人使用美國郵件信封上手寫的郵遞區號數字9298個（經過紐約州布法羅郵局的），訓練了辨識數字的類神經網路。通過在整幅影像上反覆使用同一個小視窗（尋找5×5小特徵的框），大大減少了需要學習的參數個數（就是現在所說的「卷積」方法）。在沒有用於訓練的2007個測試資料上，錯誤率為5.0%。

「今天的影像AI（卷積）源頭是新認知機」：發明者本人和後來的論文是怎麼寫的

福島邦彥的新認知機（1979年）被視為現在影像辨識AI所用「卷積」的源頭。整理後來的資料可以看到，福島在1984年的解說中寫道，大部分計算是反覆運用2維濾波器，用迷你電腦就能進行實驗。Yann LeCun等人1989年關於郵遞區號的論文，只在1處引用福島（1980）。1998年的LeNet論文明確寫道，卷積與下採樣的組合已在福島的新認知機中建立，但當時還沒有能讓整體學習的方法（誤差反向傳播法）。福島在2022年寫道「新認知機……據說是深度CNN的源頭」（譯），2024年諾貝爾委員會的解說也將它列為CNN的根源。

卷積類神經網路LeNet-5被用於美國銀行讀取支票上的手寫字

楊立昆等人發表了辨識手寫數字的7層卷積類神經網路「LeNet-5」和支票辨識系統。這套系統被裝進NCR公司的支票讀取機，在美國的多家銀行裡實際使用。訓練資料6萬張、測試資料1萬張的手寫數字資料集「MNIST」也是在這篇論文中製作的，測試資料上的錯誤率是0.95%（加上變形的訓練影像後是0.8%）。

IBM發表以雙語對譯資料算出的機率翻譯，而非使用文法規則的方法

IBM的Brown、Jelinek等人發表了一種方法，把翻譯當作運算「譯者在看到S時產生T的機率」（本文中S是英文，T是法文）。他們使用加拿大議會的記錄（以英語和法語兩種語言保存、電腦可讀的約1億詞），從4萬組句子中估計出約8100萬個數值。讓它把73個新的法語句子譯成英語，完全一致的佔5%，但意思講得通的譯文佔48%。論文寫道，1949年Weaver曾提出用數的方法來翻譯，但當時電腦性能很弱，電腦可讀的句子也不夠。

美國國防部DARPA的自駕車比賽：2004年沒有車輛完賽，2005年史丹佛大學的Stanley奪冠

DARPA舉辦了讓自動駕駛車輛在沙漠賽道上行駛的獎金賽。2004年3月13日的第1屆（約142英裡，獎金100萬美元）有15輛車出發，但沒有一輛跑完，最遠記錄也只有7.5英裡。2005年10月8日的第2屆（約132英裡）有195支隊伍報名，5輛車跑完全程。史丹佛大學的Stanley以6小時53分奪冠，獲得200萬美元獎金。據Stanley的論文，核心技術是機器學習和機率推理，讓它從人類駕駛資料中學習「可行駛的地面」。2007年的第3屆在市區賽道舉行，11支隊伍中有6支完賽，卡內基美隆大學的隊伍奪冠。

追查「1990年代研究者避開『AI』這個詞」的來源──2005年「紐約時報」的句子只寫「在最低谷的時候」

2005年10月14日「紐約時報」的報導（記者John Markoff）把史丹佛大學的汽車Stanley在美國國防部的研究機構DARPA舉辦的自動駕駛汽車比賽中奪冠這件事，報導為人工智慧的「復甦」。其中有一句話說：（AI）處於最低谷的時候，一些電腦科學家和軟體工程師害怕被看成只會講空想故事的人，於是「避開了『人工智慧』（譯）這個詞」。在「研究者避開了AI這個詞」的說法中，常被引用的就是這一句。同一篇報導還寫道，研究方法從以邏輯和規則為中心，轉向使用機率和統計的軟體，這促成了這次的成功。

還不清楚的事：實際上有多少電腦科學家和軟體工程師『避開了「人工智慧」這個詞』，以及發生在何時，無法從這篇報導得知（本站沒有找到統計人數的資料）。論文標題等處，「artificial intelligence」這個詞的使用次數逐年如何增減，可以對照 u01 的詞數圖確認。

專家混合（MoE）：多個專家網路，加上決定交給誰的閘門（Jacobs等人1991年、Shazeer等人2017年）

1991年，MIT的Robert Jacobs和Michael Jordan，多倫多大學的Steven Nowlan和辛頓（Geoffrey Hinton）發表了論文《Adaptive Mixtures of Local Experts》。讓1個大網路同時學習各種任務，任務之間會互相干擾，學習變慢。針對這個問題，他們提出把若干專家網路與一個閘門網路組合起來的方法。閘門針對每個輸入給出交給哪位專家的機率（輸出是softmax：加起來等於1的機率形式）。他們把誤差的衡量方式設計成專家之間競爭而不是合作的形式。因此隨著學習的進行，每位專家只負責輸入的一部分。論文用母音辨別的任務表明，工作被分成了幾部分，由簡單的專家各自負責。2017年1月，Google的研究團隊Google Brain的Noam Shazeer等人（包括辛頓在內共7人）將這一想法放大，做出了最多擁有數千位專家的層（Sparsely-Gated Mixture-of-Experts layer）。閘門在加入雜訊後，只選得分最高的前k位專家，其餘專家不參與運算。因此，即使大幅增加參數的數量，運算量也不會增加太多。在語言模型和翻譯中，他們把最多1,370億個參數的MoE放在LSTM層之間，以較少的運算取得了超過當時最佳水準的成績。

IBM的TD-Gammon透過自我對局學習，雙陸棋實力接近世界頂尖

IBM的Tesauro做出的TD-Gammon，讓一個3層的類神經網路與自己對戰幾十萬次，僅從勝負結果中學習（「強化學習」＝從獎勵中學習的方法）。即使從隨機的初始狀態開始也能進步，對戰了150萬次的版本，在與前世界冠軍Robertie的40局比賽中，只差1分就追平了。

還不清楚的事：論文還寫道，TD-Gammon「儘管缺乏理論保證，仍展示了TD(λ)良好的實際表現……」（TD(λ)是這種學習方法的名字。是在沒有理論支撐的情況下取得成功的例子）。

黑白棋冠軍村上健，0勝6負不敵機器學習程式Logistello

深藍獲勝的3個月後，在美國NEC研究所（普林斯頓）進行了一場6局的比賽。黑白棋世界冠軍村上健（東京的英語教師），以0比6輸給了布羅開發的程式Logistello。據作者說，Logistello從數百萬個棋盤資料中提取知識，並透過自我對戰學會了開局定式。執行環境是普通的個人電腦。

Vapnik等人製作支援向量機，在資料之間劃出最寬的道路來分類

劃一條線把2類點分開時，就把線劃在離兩邊的點都盡可能遠的、最寬的路的正中間。這樣，對第一次見到的點也能分得好。Vapnik等人把這個想法做成了只需用路邊的少數幾個點（支援向量＝撐住這條路的點）就能運算的形式。在手寫數字集MNIST上，錯誤率為1.1%（Cortes和Vapnik），成績接近類神經網路LeNet。到2000年前後，這類方法成為實際應用中的主流。

LSTM：能記住長句子或聲音前面部分的類神經網路問世

Sepp Hochreiter和Jürgen Schmidhuber發表了LSTM，在處理時間序列資料（聲音或文字排列）的類神經網路中，加入「記憶單元」以及控制資訊進出的「閘門」。先前的方法中，用誤差反向傳播法修正網路的訊號，隨著時間向前回溯，會消失（趨近於零）或膨脹，因此無法記住很久以前的資訊。LSTM能保留並利用相隔1000步以上的過去線索。

IBM的西洋棋專用電腦深藍，在6局比賽中戰勝世界冠軍卡斯帕羅夫

IBM的西洋棋專用電腦「深藍（Deep Blue）」在紐約與世界冠軍加裡·卡斯帕羅夫進行6局比賽，以2勝1負3平（3.5比2.5）獲勝。在與正式比賽相同的用時規則下，它成為第一台在比賽中戰勝現任世界冠軍的電腦。它的強大來自靠蠻力的計算：每1秒大約檢查2億個局面。上一年（1996年2月，費城）是卡斯帕羅夫以4比2獲勝。

西洋跳棋程式Chinook在人機世界錦標賽中成為「世界冠軍」

加拿大亞伯達大學的Jonathan Schaeffer等人開發的西洋跳棋程式Chinook（論文稱為8×8的draughts），在1992年挑戰世界冠軍Marion Tinsley，以2勝4敗33和落敗。1994年8月，雙方在波士頓的電腦博物館再次交手。6局全部和棋後，Tinsley因身體不適中途退賽，因此Chinook成為「人與機器的世界冠軍」。團隊的論文稱，這是電腦首次獲得人類世界錦標賽的頭銜。

預言「10年之內，電腦將成為西洋棋世界冠軍……」（1957年的演講）

賽門和紐威爾預言，10年之內電腦將成為西洋棋世界冠軍（除非規則禁止其參賽）。

後來：1967年4月時，最強的西洋棋程式之一（MIT的MAC HACK VI）只有業餘中級的水準（美國等級分1450）。1968年，西洋棋國際大師李維（Levy）與研究者們打賭，10年之內電腦能否戰勝他。1978年李維戰勝了電腦，贏得了賭局。電腦在6局比賽中戰勝在任世界冠軍（卡斯帕洛夫），是在預言之後約40年的1997年5月（IBM的深藍，3.5比2.5）。另外，電腦從未獲得過人類世界冠軍的稱號本身（預言裡也寫了「除非規則禁止它參賽」）。

1985〜1991年，Rodney Brooks讓機器人不再先想再動──對簡單的智慧而言，「明確的表示和世界模型只會礙事」；1990年又寫道「小型AI公司接連倒閉，國內外AI學術會議的參與人數大幅減少」

MIT人工智慧實驗室的Rodney Brooks在1985年9月的報告中，提出了把機器人的行為分成「層」來設計的方法。在避開障礙物之類的底層之上，疊放更高級的行為層，上層只在需要的時候壓制下層的輸出（包容，即subsumption）。1987年收稿、1991年刊出的論文《沒有表徵的智慧》指出，在研究非常簡單的智慧時，「明確的表示和世界模型只會礙事」。他還報告說，基於這一想法開發了好幾台能在辦公室裡自主走動的機器人。1990年的論文《大象不下西洋棋》主張，要走一條不同於30多年來在腦中操作符號的AI的道路（有身體、與現實世界交互的路線）。同時他還談到當時的狀況：小型AI企業倒閉，國內外AI學會的參會人數大幅減少。

還不清楚的事：不依靠表示（對世界的建模），能實現多高程度的智慧？論文裡也只是作為假設（H）提出，還沒有結論。

2002年掃地機器人Roomba──199.95美元。發布稿說明，它結合螺旋、沿牆、直行等簡單動作，反覆經過房間各處2〜5次（沒有提到地圖）

開發機器人技術產品的iRobot公司（據發布文，總部在麻薩諸塞州薩默維爾），於2002年9月18日，以199.95美元發售了家用自動吸塵器「Roomba Intelligent FloorVac（Roomba）」。發布文稱它是「美國能買到的第一台自動地板吸塵器」，並說明這是把公司「人工智慧技術」和降低價格的技術應用到了家電上。它的動作是：先螺旋狀前進，碰到障礙物就沿牆行走，然後再重複螺旋和直行。它通過落差感測器發現樓梯並轉向，花一定的時間，讓房間的每個地方都被經過2—5遍。它靠電池能工作1—1.5小時，還能用虛擬牆（Virtual Wall）劃出禁止進入的區域。

Sony發表4足家用狗型機器人「AIBO」。售價25萬日圓，3000台仍在20分鐘內售罄

1999年5月，Sony宣布發售家用「娛樂機器人」（譯）AIBO（ERS-110）。它是全長約30 cm的4足動物型機器人，依靠感情、本能、學習、成長的程式自己思考行動，性格會隨撫摸等相處方式而改變。據開發者藤田雅博介紹，儘管售價高達25萬日圓，3000台的招募名額在20分鐘內就訂滿了。它的名字是Artificial Intelligence roBOt的縮寫，同時取自AI、眼睛（EYE）和夥伴的含義。

本田發布用2條腿行走的人形機器人「ASIMO」（研究始於1986年）

本田發布了體型小巧輕便、能像人一樣行走的人形機器人ASIMO。為了讓它夠得到室內的開關和門把手，身高設計為120 cm，重43 kg（上一代P3為160 cm、130 kg）。借助預測下一個動作並提前移動重心的行走技術（i-WALK），它實現了流暢的轉向。本田於1986年開始研究，1996年公開了試製機P2，1997年公開了P3。

2002年，國家計畫開發的「能工作的人形機器人」（譯）HRP-2──身高154 cm、58 kg、30自由度。發布稿稱「人形機器人有可能成為21世紀最大的商品之一」（譯）

日本經濟產業省從1998年起推進了一項為期5年的計畫「與人類協作、共存的機器人系統研發」（譯）（HRP：Humanoid Robotics Project）。前2年打好研究基礎（人形機器人HRP-1、遠端操控座艙、模擬器），後3年研究5個應用領域。2002年3月19日，川田工業和產業技術綜合研究所（產綜研）與安川電機、清水建設共同發布了在戶外與人協同工作的「HRP-2原型」（譯）。它身高154 cm，含電池重58 kg，具備包括腰部2個軸在內的30個自由度（關節數），目標是能在凹凸不平的路上行走，摔倒後也能自己爬起來。發布稿寫道，日本工業機器人市場從1980年代起一直在每年5,000～6,000億日圓的規模上持平，是因為用途沒有擴大；又說20世紀最大的商品之一是汽車，而「人形機器人有潛力成為21世紀最大的商品之一」（譯），表達了期待。

後來：期限是「21世紀」（譯），驗證仍在進行中（2026年9月時）。本站沒有確認當前人形機器人的市場規模。HRP-2本身於2017年被評為國立科學博物館的未來技術遺產，川田機器人公司（Kawada Robotics）介紹說，它發展成了在生產線上與人協作的機器人NEXTAGE。

2005年愛・地球博的「機器人計畫」（譯）──機器人在會場清掃、警備、導覽；以「2020年的實用化」（譯）為目標的65種機器人展示了11天，約12萬3000人參觀

在2005年愛・地球博（2005年日本國際博覽會）上，博覽會協會和NEDO（新能源・產業技術綜合開發機構）實施了「機器人計畫～We live in the Robot Age／我們是機器人世代～」（譯）。根據2004年的新聞稿，經濟產業省和NEDO在「下一代機器人實用化計畫」（譯）中研究開發約100台機器人。會期中，會場裡有5種「工作機器人」（譯）在運轉：戶外清掃、更換垃圾桶、警備、用4種語言引導、陪孩子玩、能避開障礙物的輪椅。6月9日至19日的11天裡舉辦了「原型機器人展」（譯），以「2020年 人與機器人共同生活的城市」（譯）為主題，陳列了以「2020年的實用化」（譯）為目標正在開發的65種機器人，約12萬3000人前來參觀。新聞稿裡還寫道，預計機器人市場在2010年達到1.8兆日圓。

還不清楚的事：新聞稿裡「2010年達到1.8兆日圓」（譯）這一預計的出處（是誰的預測）、2010年的實際市場規模，以及以「2020年的實用化」（譯）為目標的65種機器人裡實際投入使用的有哪些，本站都沒有確認（這是可以作為預言來核對答案的候選。市場的數值會因統計範圍的不同而大幅變化，需要注意）。2001年日本機器人工業會的預測（2010年3兆日圓）和2008年的核對，在記錄 → 預言：2010年日本的機器人市場約3兆日圓（2001年業界團體的預測）──家用… 裡。

1998年Hans Moravec問「電腦硬體何時能與人腦比肩？」──答案是「在2020年代的便宜機器上可用」。他也指出，1960〜1990年的AI研究處於「1 MIPS電腦的冰凍寒冬」

卡內基美隆大學機器人研究所的Hans Moravec在1998年的論文中，估算了實現與大腦相同功能所需的計算速度和記憶容量。把視網膜的功能換成機器人的影像處理，相當於1,000 MIPS（MIPS＝每1秒執行100萬條指令）。大腦約是視網膜的10萬倍，因此整個大腦約需1億MIPS，記憶容量約為1億MB。他根據電腦價格下降的趨勢，預言要與人腦相當，「所需的硬體將在2020年代出現在便宜的機器上」，而這1億MIPS「將在2030年之前出現在家用電腦上」。同一篇論文也指出，從1960年到1990年，AI研究能使用的電腦效能一直停留在約1 MIPS，研究者的一生都在「1 MIPS電腦的冰凍寒冬」中度過。從1990年起，效能每年加倍，現在（1998年）已是春天，他也這樣寫道。

後來：截至2026年9月，預言的期限（2020年代・2030年之前）還沒有到。而且，莫拉維克的指標（MIPS＝1秒內執行多少百萬條指令、約1,000美元的家用機器）與如今AI的計算指標（1秒內的浮點運算次數，FLOP/s等）並不一致。換算方式不同結果就會變，因此本站沒有判定其對錯。

還不清楚的事：大腦的功能＝1億MIPS，這個估算是把視網膜功能換成機器人影像處理的一種看法。大腦到底進行了多少計算，至今仍不清楚（論文自己也寫道，估算依靠「類比與外推」。外推是把過去趨勢的線延伸到未來，據此推估）。

1993年，文奇：「30年之內，將掌握創造超越人類智慧的技術」──若在2005年以前或2030年以後發生，他會驚訝。「奇點」比Ray Kurzweil的2005年著作早12年

聖地牙哥州立大學數理科學系的弗諾·文奇（論文中的所屬機構），向1993年NASA舉辦的「Vision 21」（譯）活動論文集投稿了「即將到來的技術奇點」。他在文中寫道，30年內將掌握創造超越人類智慧的技術手段，此後不久人類的時代就將終結。他列出4條實現途徑：「覺醒」的超智慧電腦、大型網路的覺醒、人與電腦的深度結合，以及透過生物學增強智慧。他也給出了年份：如果在2005年以前或2030年以後發生，他會感到驚訝。他把這個事件稱為「奇點（the Singularity）」。不過，論文中也介紹了先前的例子：馮紐曼在1950年代使用過「奇點」這個詞（由Ulam介紹），以及I. J. Good在1960年代提出的「超智慧機器」構想。他還自行補充說，有人指出，熱衷於AI的人早在30年前就提出過類似主張。

後來：本人給出的期間的終點（2030年）尚未到來（截至2026年9月）。「30年內」所對應的2023年已經過去，但「超越人類的智慧」是否已經實現，因評價標準不同而看法不一，本網站不作判定（關於2023～2025年企業負責人的預測，參見記錄 → OpenAI負責人奧特曼：我們可能在數千天之內擁有超級智慧2025年，第一…、→ Anthropic負責人阿莫迪談強大AI：我認為最早可能在2026年到… 等）。

還不清楚的事：「超越人類的智慧」是用什麼來衡量的（在哪種考試或哪項工作上超過人類才能這樣說），論文中也沒有寫明確的標準。

日本研究者發起的「RoboCup」：目標是在21世紀中葉之前，讓人形機器人隊戰勝世界盃冠軍隊

「RoboCup」要把機器人踢足球，變成AI和機器人研究共同的挑戰課題，它是由日本的研究者們（北野宏明、淺田稔、國吉康夫等）發起的。1993年6月，他們最初構想的是只限日本的「機器人J聯賽」，但一個月之內海外就有人表示希望參加，於是發展成了國際性的計畫。1997年在名古屋舉辦了第一屆大賽，聚集了40多支隊伍、超過5000名觀眾。官方網站提出的最終目標是：「到21世紀中葉，一支完全自主的人形機器人足球隊，將依照FIFA的正式規則，在足球比賽中擊敗最近一屆世界盃的冠軍隊」。

後來：還沒到期限，結果尚未揭曉。2026年7月5日，在韓國仁川舉辦的RoboCup 2026上，首次進行了人形機器人之間11對11的比賽（德國的B-Human以4對0戰勝同為德國的HTWK）。不過這是機器人之間的比賽，不是與人類冠軍的對戰。

1997年國際人工智慧會議（IJCAI-97）在名古屋舉行──繼1979年東京之後，第2次在日本舉辦。來自48國的1,400人參加，並同時舉辦首屆RoboCup

AI研究者每2年聚會一次的國際會議IJCAI的第15屆（IJCAI-97），於1997年8月23日至29日在名古屋國際會議場舉行。據IJCAI官方網站的歷屆舉辦地一覽，在日本舉辦是繼1979年東京之後的第2次。據人工智慧學會的報告，來自48個國家的1,400人（其中海外550人）參加。除12場特邀報告、216篇一般論文發表、30場研討會、17場教程之外，還同期舉辦了機器人足球賽RoboCup-97等活動。1991年度已確定申辦在日本舉辦，人工智慧學會一直在籌備（人工智慧學會1991年度的事業報告）。這是在日本人工智慧學會正式會員開始減少的時期舉辦的一次大規模國際會議。

預言：2010年日本的機器人市場約3兆日圓（2001年業界團體的預測）──家用與醫院用機器人的市場，實際上不到100億日圓

2001年，日本機械工業聯合會和日本機器人工業會的報告書，按5個領域預測了機器人市場。2010年生活領域1.5兆日圓、製造業8,500億日圓、公共2,900億日圓、醫療福祉2,600億日圓、生物900億日圓（合計約3兆日圓），2025年合計約8兆日圓。據產業技術綜合研究所的荒井裕彦2009年的分析，這一預測被經濟產業省等用作說明研究開發預算的依據，並透過報導廣為流傳。2005年愛・地球博的發布稿中也寫道「預計2010年的市場規模將達到1.8兆日圓」（譯）。

後來：據荒井裕彦2009年的分析，製造業以外的下一代機器人市場，在工業會等的實況調查中每年僅為14〜68億日圓（不到100億日圓），與2010年的預測（製造業以外約2兆日圓）相去甚遠。2006〜2008年，國家機構和工業會自己把2010年的預測下修到了500〜750億日圓。2015年，政府的「機器人新策略」（譯）把機器人的市場規模定為「目前的6,000億日圓」（譯），並設定了2020年達到2兆4,000億日圓的新目標（總務省2015年的白皮書）。2025年預測的驗證，本站沒有做。