從資料中自己學習

辛頓等人發表讓深層網路「每次1層」學習的方法，通向「深度學習」的重要一步

層數很多的類神經網路，只靠誤差反向傳播法很難學好。辛頓等人提出的方法是：先每次學1層，不提供正確答案，讓網路抓住「資料的特徵」（預訓練），再用誤差反向傳播法調整整個網路。在手寫數字資料集MNIST上，錯誤率為1.25%（Neural Computation的論文）；在用少量數值表示影像和文件的任務上，效果也比先前的方法好（Science的論文）。

貝氏的論文——1763年，朋友普萊斯發現遺稿並送交皇家學會

貝氏定理的思路是：看到結果（證據）之後，重新計算其原因或假設有多大可能。它是單純貝氏分類的基礎。1763年12月23日，皇家學會宣讀了一篇論文，形式是普萊斯（Price）寫給會員坎頓（John Canton）的一封信。這是普萊斯從已故朋友貝氏的文稿中找到的《An Essay towards solving a Problem in the Doctrine of Chances》（「論機率學說中一個問題的解法」），刊登在會刊Philosophical Transactions第53卷（從第370頁起）。據普萊斯的信，貝氏想找的是這樣一種方法：對某個事件，只知道它此前發生了幾次、沒發生幾次，其他一無所知，要據此判斷它發生的機率。

用單純貝氏分類文件──1961年，Maron以線索詞計算機率，判斷論文領域；他本人已寫明，詞語彼此獨立的假設並不正確

單純貝氏分類是這樣一種方法：根據文件中包含的線索詞，用貝氏定理計算該文件屬於各領域的機率，歸入機率最高的領域。它假設一旦領域確定，各詞就獨立出現，因此只需把各詞的機率相乘就能計算。Maron（M. E. Maron，所屬單位為The RAND Corporation）在1961年的論文「自動索引：一項實驗性研究」（Automatic Indexing: An Experimental Inquiry）中，用電腦雜誌IRE Transactions on Electronic Computers 1959年的405篇摘要做了實驗。他把3月號和6月號的260篇作為訓練資料，統計詞與領域的關係。9月號的145篇在準備期間完全沒有看，留作之後的測試資料。領域有32個，線索詞有90個。在含有2個以上線索詞的85篇測試文章中，機率第1位的領域正確的有44篇（51.8%），前3位以內含有正確領域的有68篇（80%）。

還不清楚的事：這個1961年的實驗，把145篇測試用文章在準備期間完全不看，從而把訓練資料和測試資料分開。從論文的數字還能看出，用於訓練的文章上的正確率（第1位正確的比例84.6%），比新文章上的正確率（51.8%）高得多。

最小平方法 ── 1805年勒讓德在書的附錄中發表，1809年高斯主張自己從1795年起就在使用（統計史上最有名的優先權之爭）

最小平方法是這樣一種方法：把測得的值與用公式算出的值之間的每1個誤差取2次方（平方），全部加起來，讓這個總和最小，以此決定公式的常數（如果是直線，就是斜率和截距）。勒讓德（A. M. Legendre）在1805年於巴黎出版的彗星軌道決定相關著作《確定彗星軌道的新方法》（Nouvelles méthodes pour la détermination des orbites des comètes）的附錄《論最小平方法》（Sur la Méthode des moindres quarrés）中寫道，當方程式的數量多於要求出的未知數數量時，誤差不可能全部為0，因此讓誤差的2次方和最小，是最一般、最精確、最實用的方法。他也寫道，這樣能讓各個誤差保持平衡，避免極端誤差的影響。高斯（C. F. Gauss）在1809年於漢堡出版的天體運動著作《天體運動論（Theoria motus corporum coelestium）》的第186節中寫道，讓差的2次方和最小的原理，是他們從1795年起就一直使用的，最近勒讓德也發表了。1981年重新研究這段歷史的Stigler，稱這是統計史上最有名的優先權之爭。

還不清楚的事：高斯是否真的在1795年就用過，並沒有定論。高斯晚年的說法裡有時是1794年，年代存在出入。Stigler寫道，利用法國子午線測量的資料，也許可以確認。

邏輯斯函數（S形曲線）── 1838年，Verhulst作為人口增長的公式發表，1845年才有了名稱

邏輯斯函數是這樣一個公式：起初增長速度接近成倍增長，越接近上限增長越緩慢，描出S形。後來的邏輯斯迴歸就用這個S形來表示機率（0到1之間的數）。Verhulst（P.-F. Verhulst）1838年在Quetelet編輯的雜誌《Correspondance mathématique et physique》第10卷的一篇短論文中，用dp/dt = mp − np² 這個公式表示人口p的增長速度。它是從成倍增長的項mp中，減去人口越多作用越強的「剎車」np² 得到的。由這個公式的解可知，隨著時間推移，人口會趨近上限m/n。他與法國、比利時、艾塞克斯（Essex）、俄羅斯的人口資料做了比較，並寫道這項研究1833年已經完成，是在Quetelet的建議下才發表的。他還寫道，即使把「剎車」的形式改成np³、np⁴、n log p，與觀測的誤差也幾乎一樣，但上限的值卻大大改變。

還不清楚的事：Verhulst本人指出，即使把「剎車」的形式換成各種樣子，與觀測的誤差也差不多，而對上限的預測卻大不相同。他最後寫道，「剎車」真正的形式只有將來才能揭曉。資料少時無法確定哪個公式正確，這個問題後來聯繫到模型選擇（AIC等）的討論。

邏輯斯迴歸──1958年，Cox發表0和1資料的迴歸分析；他本人表示，不知道最早是誰做的

邏輯斯迴歸是處理答案只有「是」「否」、即取值為1或0的資料的方法，它根據年齡等解釋變數來預測結果為1的機率。一般線性迴歸的預測值可能小於0或大於1，而採用S形的邏輯斯曲線，預測值就總是落在0和1之間，結果還可以用勝算比（表示事情發生難易程度的比值）來解讀。Cox（D. R. Cox，論文署名單位為倫敦大學伯貝克學院Birkbeck College, University of London）在1958年7月的論文「二元序列的迴歸分析」（The Regression Analysis of Binary Sequences）中，處理的是對0和1的序列進行觀測、且認為出現1的機率受1個或多個解釋變數左右時的檢驗與估計。摘要裡寫著，此前已有不少相關研究，本文也對它們作了重新檢視。Cox在1994年的訪談中說，他的目標是建立一個類似最小平方迴歸、用來分析0和1資料的系統架構，而伯貝克學院實驗心理學方向的研究者們對0和1資料的分析興趣濃厚，是起因中的1個。

還不清楚的事：最早使用邏輯斯迴歸的人是誰，連當事人的說法也不明確。Cox提到了Cornfield的名字，但也說記不清自己是否受過其影響。

主成分分析的雛形 ── 1901年皮爾森證明，最接近一群點的直線，方向就是點分布最長的軸的方向

倫敦University College的卡爾·皮爾森（Karl Pearson）研究的問題是：對於平面或3維以上空間中的一群點，求出最吻合它們的直線或平面。通常的最小平方法（迴歸分析：只假定y有誤差，使縱向的偏差變小），會因為以x還是以y為基準而得到不同的直線。皮爾森認為，當x和y同樣含有測量誤差時，只要使各點到直線所作垂線長度的平方和最小即可。他還證明，這條直線通過重心，方向就是表示點的散布的橢球最長軸的方向。這相當於現代主成分分析（把許多組數，用從變異程度最大的方向開始依次取出的少量數來表示的方法）中第1主成分的方向。論文裡有一個10個點的數值例子，最貼近的直線斜率為 −0.546，而由x預測y的迴歸直線是 −0.5396，由y預測x的則是 −0.5659，表明這3條直線各不相同。

主成分分析：1933年，霍特林把考試分數這類大量數值，用依變異程度由大到小取出的少量成分表示，並將這個方法命名為主成分方法

哥倫比亞大學的哈羅德·霍特林認為，像孩子的算術速度、閱讀測驗成績這樣相互關聯的眾多變數背後，存在數量更少、彼此無關的基本量，並給出了把它們取出來的方法。先取出1個能最大程度解釋全部變數變異程度的成分，再依次從與它無關的成分中，取出能最大程度解釋剩餘變異程度的成分。影響小的成分可以捨去。他把這稱為「主成分方法」，並解釋說，這等同於把座標軸對準點的分布所形成的橢球的主軸。這原本是心理學裡稱為「心理因素」的東西，但在心理學以外的領域（電線桿的性質、匯率等）也能使用；為了不與數學裡的factor一詞衝突，他決定稱之為components（成分）。

還不清楚的事：霍特林是否知道皮爾森1901年的論文，本站沒有核實（保存下來的副本是機器辨識出的文字，並未通讀全部頁面）。

數量化理論：1950年，林知己夫為了預測假釋結果，將為質性資料賦予數值的方法寫成論文

統計數理研究所的林知己夫，在1948年日本人讀寫能力調查接近尾聲時，收到法務省矯正保護研修所一位刑法學者的諮詢。他希望藉由統計，更可靠地判斷刑期已過3分之1的受刑人是否可以假釋。當時的方法，是憑人的判斷，為各項目的回答分配 −2, −1, 0, 1, 2這樣的分數，再加總。林前往橫濱監獄，聽說適應監獄生活、努力工作的優等生，釋放後很快就會回到監獄。他也發現，非常反抗的人容易再犯，介於兩者之間的人則最不容易再犯。他因此明白，評分不一定能單純地依一個方向排列。於是，他想到，應該用資料來決定每個回答（質性資料）所分配的數值，讓沒有再犯和再犯的兩個群體分得最清楚。在1950年的英文論文中，他將這個問題表述為讓預測成功率最大化。此後，林針對讀寫能力調查、國鐵鐵路養護區員工的人際關係調查、出口罐頭標籤設計調查等現場問題，分別開發方法，這些方法後來統稱為數量化理論。

還不清楚的事：用林做出的數（權重），實際上假釋的判斷改變了多少（現場是否用了），本站沒有查證。

k近鄰法的起源：1951年，Fix與Hodges在美國空軍報告中提出（未作為期刊論文出版）

k近鄰演算法（k-NN）是這樣一種方法：對要分類的新點，按距離由近到遠找出k個帶標籤的資料，把它歸入佔多數的那一組。由於事先不規定資料的分布，它被稱為無母數方法。1951年2月，Fix（E. Fix）和Hodges（J. L. Hodges, Jr.）在美國空軍航空醫學院（USAF School of Aviation Medicine，德州Randolph Field）的報告《Discriminatory Analysis, Nonparametric Discrimination》中提出了這類規則。他們表明，隨著資料個數n的增加，k也隨之增加，並讓k/n趨近於0，這個規則就具有一致性（資料越多，越接近最佳分類）。以上是1967年Cover與Hart的論文中的介紹。

還不清楚的事：1951年的報告本身，本站還沒有打開原件確認過。內容依據的是1967年的論文和解說文章的介紹。

最近鄰法的理論保證──1967年，Cover與Hart證明，即使只依照最近的1個點分類，錯誤率也不會超過理論最小值的2倍

最近鄰法（k=1的k近鄰演算法）是把新資料歸入離它最近的已分類點所屬類別（組）的方法。Cover（T. M. Cover，史丹佛大學）和哈特（P. E. Hart，史丹佛研究院）在1967年1月的論文『最近鄰圖樣分類』（『Nearest Neighbor Pattern Classification』）中指出：當已分類的點足夠多時，這種方法的錯誤率R雖然不會比完全瞭解分布時的最小錯誤率R*（貝氏錯誤率）更小，但也不會超過R* 的2倍（設類別數為M，則R* ≤ R ≤ R*(2 − MR*/(M − 1))）。論文據此寫道，無限多的資料中所含的分類資訊，有一半包含在最近的那1個點裡。

還不清楚的事：這個理論保證說的是資料足夠多的情形（論文裡的說法是large sample），並沒有談到資料較少時的表現。

k-means的源頭──1957年，Lloyd在貝爾實驗室寫下步驟，尋找用少數代表值表示訊號的最佳方式（1982年才刊登在學術期刊）

貝爾實驗室的Stuart Lloyd思考了PCM（脈衝編碼調變：把訊號的電壓換成事先確定個數的代表值之一再發送的做法）。問題是求出使與原訊號的誤差平方的平均值（量化雜訊）最小的區間劃分和代表值。他稱為方法I的步驟，是交替重複這兩步：(1)確定劃分，把每個區間的重心（平均）作為代表值；(2)把相鄰代表值的正中間作為新的劃分。這與1維的k-means（把點分到離得最近的代表所在的組，再把代表移到該組的平均處，如此重複的步驟）是同樣的形式。這份手稿1957年在貝爾實驗室內部傳閱，同年9月在統計學會議上發表了一部分，但登上學術期刊已是約25年後的1982年。

還不清楚的事：1957年的手稿本身（貝爾實驗室的內部紀錄）沒有公開，本站只是透過1982年論文的附記做了確認。1957年的會議上發表了什麼、發表到什麼程度，並不清楚。

k-means──1967年，MacQueen把將資料點分成k組的步驟命名為k-means（k個平均值）

加州大學洛杉磯分校的J. MacQueen把一種步驟命名為k-means：將資料（點）分成k組，使組內的離散程度（各點到平均值的距離的平方和）變小。他的步驟是，先把最初的k個點各自作為1組。之後每次取1個新點，放進平均值離它最近的那一組，並立刻更新該組的平均值。無論在哪個階段，k個平均值都是各組的平均值，因此他稱之為k-means。在同一篇論文裡，MacQueen還介紹了如今常被當作k-means步驟的形式（把所有點重新劃分到最近的平均值所在的組 → 重新計算各組的平均值，這2步反覆進行）。據他說，這是Forgy和Jennrich各自獨立想到、並在1963年前後告訴他的方法。

還不清楚的事：已知多位研究者各自獨立得到了同樣的步驟，但他們之間有多少資訊往來（例如誰讀過Lloyd 1957年的手稿），本站沒有查證。

階層式分群──1958年，Sokal與Michener把97種蜂依相似程度整理成樹狀圖

堪薩斯大學昆蟲學系的Robert Sokal和Charles Michener，對單獨生活的切葉蜂科97種進行了分類。他們比較每1種的122個特徵（如腹部顏色是紅還是黑這樣的性狀），用相關係數（表示2組數字增減的步調有多一致的數）來表示種與種之間的相似程度。然後把相似的種歸為一組，再把得到的組依次連接起來，匯總成一棵完整的樹狀圖。這就是現在階層式分群（從最近的開始依次合併，形成巢狀分組的樹的方法）的思路。以往的分類是對少數特徵憑人的主觀賦予權重，而2人對許多特徵以相同權重處理。計算動用了IBM的打孔卡片機和使用桌上型計算機的人（論文裡把「計算員」寫作computer），僅相關係數的計算就花了160人時。2人還寫道，用當時的數位電腦的話，不到1小時就能完成。

還不清楚的事：據說，從相似的開始依次合併成樹的想法，在同一時期其他領域也出現過，但本站沒有打開那些原始論文，沒有確認。哪一個最早，沒有斷定。

Ward法──1963年，Ward提出選擇目標函數、每次合併2組的階層式分群方法

空軍基地（Lackland Air Force Base）航太醫學部門的Joe H. Ward Jr.，針對超過100這樣的大規模調查，給出了把人或對象分成相似小組（群集）的步驟。從n個組（起初每組1個對象）中，把其中2個組合併的n(n−1)/2種情形全部查一遍，把使目標函數（表示合併好壞的數值，由研究者根據目的選擇）最佳的2個組合併，變成n−1個組。重複這一步直到只剩1個組，就能知道整體的層次結構，以及每個階段損失的資訊量。論文的例子中，把10個人的分數2, 6, 5, 6, 2, 2, 2, 0, 0, 0當作1個組，用平均值代表時，誤差平方和（與平均值之差的平方之和）是50.5；但如果分成 {0,0,0} {2,2,2,2} {5} {6,6} 這4組，則為0。

還不清楚的事：本網站確認了論文的前2頁（p.236-237）。流程圖和數值例子的詳細內容（p.238以後）沒有讀過。

隱藏式馬可夫模型──1966年，Baum與Petrie建立描述看不見的狀態如何轉變、如何產生符號的模型數學

位於普林斯頓的國防分析研究所（Institute for Defense Analyses）的Leonard E. Baum與Ted Petrie，提出了一種機率模型。外部看不見的狀態依馬可夫鏈（下一個狀態只根據當前狀態，以機率決定的轉變過程）變化，每個狀態再以機率產生符號。他們將這稱為馬可夫鏈的機率函數，並證明：只根據觀測到的符號序列Y1, …, YT，就能估計狀態轉移機率表A與符號輸出機率表B；資料增加時，最大概似估計（選擇最容易產生這些資料的數值來估計）會接近正確值。這是現今隱藏式馬可夫模型（HMM）的1個數學起點。1970年，同一個團隊（與Petrie、Soules、Weiss合作）提出逐步提高概似的反覆計算方法。Dempster等人在1977年記載，這是EM演算法的特殊情況。

還不清楚的事：誰最先使用「隱藏式馬可夫模型（hidden Markov model）」這個名稱、是哪一年，本站沒有查證。國防分析研究所做這項研究是出於什麼目的，資料裡也沒有寫。

用隱藏式馬可夫模型辨識語音 ── Baker在1975年、IBM的Jelinek在1976年開始使用，並透過Rabiner 1989年的解說廣為人知

即使是同一個詞，說話聲也會因人與語速而不同。1975年，J. Baker在語音理解系統DRAGON中，把各種語言知識都用馬可夫過程的機率函數這1種形式表示（也就是現在的隱藏式馬可夫模型：看不見的狀態依機率轉換，各狀態也依機率輸出聲音特徵）。1976年，IBM Thomas J. Watson研究中心的F. Jelinek發表用統計方法辨識連續語音的論文。不過，以Rabiner在1988年撰寫原稿時的觀點來看，這個方法也只是近幾年才在語音研究中被廣泛理解與使用。1989年，AT&T貝爾研究所的Lawrence R. Rabiner把理論與語音辨識的應用整理成1篇解說。其中的實驗顯示，在不限說話者、逐1個詞辨識數字的任務中，隱藏式馬可夫模型的錯誤率與傳統樣式比對相當（DTW方法：先用動態規劃對齊不同語速，再與記住的聲音樣式比較）。這種樣式比對的想法，日本電氣的迫江博昭與千葉成美也在1971年以DP比對的名稱發表過（本站另一筆事件）。

還不清楚的事：Rabiner 1989年的綜述也指出，「聲音的觀測值相互獨立」的假設和馬可夫性的假設，與真實的語音並不吻合。儘管如此它仍然管用，原因在這篇綜述中沒有明確說明。

赤池資訊量準則AIC──赤池弘次於1971年發表，1973年出版成論文。將資料的擬合程度與參數數量的懲罰整合為1個指標

AIC是在多個統計模型候選中決定使用哪一個的準則。計算方法是AIC＝（−2）×（最大對數概似）＋2 ×（參數的個數），值越小的模型被認為越好。第1項表示對資料的擬合好壞（擬合得越好，值越小），第2項相當於對過度增加可調參數數量的懲罰。統計數理研究所的赤池弘次在1968年研究用時間序列模型表示水泥旋轉窯（rotary kiln）的運轉時，遇到了要使用多少個過去的值（階數）的問題，於是考慮了預測誤差的期望值（FPE）。據1981年的回憶，1971年3月16日早晨，他在通勤電車上坐下來的時候，突然意識到最大概似與Kullback–Leibler資訊量之間的連結。在2006年京都獎紀念演講中，他說：「關於AIC的首次發表，是1971年在日本統計學會上的報告」（譯）。接著他回顧說，同一年在亞美尼亞召開的第2屆國際資訊理論研討會上做了詳細發表，1973年以會議錄的形式出版，1974年在美國IEEE的自動控制雜誌上發表了解說文章。

還不清楚的事：AIC並不是一開始就被接受的。赤池在2006年的演講中說，應用領域有積極的反應，但「來自正統統計學領域的反應並不積極」（譯）。1981年的回憶裡也寫著，它還沒有被專業的統計學家充分接受。另外，AIC以參數與分布1對1對應的正則模型為前提。因此，它在類神經網路這樣的學習機器上怎麼用，引出了後來的研究（渡邊澄夫的WAIC等）。

交叉驗證 ── 1974年，Stone發表論文，用分開資料再驗證的方法，選擇並評估預測方法。這個想法早在1930年代就已存在

交叉驗證（cross-validation）是把手上的資料分成訓練用與驗證用，不斷改變分法、反覆驗證，再根據成績的平均值選擇預測方法的做法。在每次留出1個資料的方法中，從n個資料中移除1個，用其餘n − 1個建立模型，再用移除的那1個測試，重複全部n種情況。Stone（M. Stone，University College London）於1973年12月5日在皇家統計學會發表，並在1974年刊登於Journal of the Royal Statistical Society, Series B的論文「Cross-validatory Choice and Assessment of Statistical Predictions」中，提議將這項準則用於結合預測方法選擇與評估的做法。他也用1個樣本的估計、多元迴歸與變異數分析的例子加以說明。

還不清楚的事：1977年，Stone表明，每次留出1個的交叉驗證（留一法）與赤池的AIC在資料很多時表現相同（漸近等價）（據2010年渡邊的論文介紹）。不過這是參數與機率分布1對1對應的正則模型的情形。對類神經網路這樣的奇異模型會怎樣，直到2010年渡邊的論文之前都不清楚。

WAIC ── 2010年，渡邊澄夫證明：可用於類神經網路等模型的資訊量準則，與留1交叉驗證會趨近同一個值

WAIC（widely applicable information criterion，廣泛適用的資訊量準則）是渡邊澄夫（論文署名單位為Tokyo Institute of Technology的Precision and Intelligence Laboratory）提出的，用來估計貝氏估計模型的泛化損失（對未知資料的預測誤差）的準則。AIC以參數與機率分布1對1對應的正則模型為前提。然而，類神經網路、混合常態分布、隱馬爾可夫模型、玻爾茲曼機等許多學習機器，都是這一前提不成立的奇異模型。渡邊先生在2010年12月的Journal of Machine Learning Research論文中證明，即使對這類奇異模型，當資料量很大時，貝氏的留1交叉驗證（leave-one-out）的損失與WAIC也會趨近同一個值（漸近等價）。對於正則模型，留1交叉驗證與AIC漸近等價，這一點在1977年Stone的論文等中已為人所知。

EM演算法 ── 1977年，Dempster、Laird、Rubin將從部分看不見的資料中學習的方法整理成一般形式，並加以命名

哈佛大學和教育測試服務中心（Educational Testing Service）的A. P. Dempster、N. M. Laird、D. B. Rubin提出了一種一般方法：當資料的一部分看不見（缺失）時，估計最可能的參數（統計模型中的數）。在E步（expectation：期望值）中，用現在的參數計算看不見部分的值的期望值。在M步（maximization：最大化）中，用補全後的資料，把參數重新計算成最可能的值。因為這兩步交替重複，所以命名為EM演算法。他們證明，每重複一次，資料的概似（在該參數下出現這組資料的可能程度）都不會下降。他們還指出，含缺失值的資料、幾個峰混在一起的分布（混合分布）、因子分析等許多例子都屬於這種形式。第一個例子是197只動物按遺傳機制分為4個種類的資料（出自Rao 1965年書中的例子）。

大津二值化 ── 1979年，大津展之發表方法，自動找出灰階影像分成黑白的界線，也就是讓2組分得最開的位置

大津展之（1979年英語論文署名的所屬單位是Electrotechnical Laboratory, Tokyo）提出了一種方法，用來在把文字或物體從黑白灰階影像的背景中分開時，自動確定分界的亮度（閾值）。把亮度的次數分布（直方圖）在某個亮度k處分成2組時，選取使組與組之間的離散程度（類間變異數）最大的k。這是判別分析（求出能把2組很好分開的尺度的統計方法）的想法，與使組內的離散程度（類內變異數）最小是一回事。計算只用直方圖的0階和1階累積矩（到該亮度為止的像素所佔的比例，以及亮度的總和），所以計算起來非常簡單。它不需要給出正確答案，是非監督式的方法。1980年日語論文的摘要寫道，它在用若干個值去近似原來的灰階影像時，就最小2乘方的意義而言也是最佳的，也很容易推廣到分成3組以上的情形。論文中的例子有：用新色帶和舊色帶打出的打字機字母A、布的花紋、細胞影像（分成背景、細胞質、細胞核3部分）。

還不清楚的事：英語論文寫道，評估函數是否總是只有1個峰（單峰），目前還沒有得到嚴格的證明（實驗中它總是平滑且單峰的）。

貝氏網路──1985年，Pearl為以箭頭圖與條件機率表示因果關係的方法命名（構想始於1982年）

加州大學洛杉磯分校（UCLA）的Judea Pearl把許多命題或變數當作點，用箭頭連接直接的依賴關係，並用條件機率（A發生時B發生的機率）表示強度，他把這樣的圖稱為貝氏網路。一旦得到新的證據（例如檢查結果），每個點只與相鄰的點交換簡短的訊息，就能正確更新整體的機率（相信的程度）。這樣就可以在遵守機率運算規則的前提下，依據許多線索進行推論。在1982年的AAAI論文中，Pearl寫道，許多AI研究者接受了一個神話，即不確定推論的運算模型必須至少部分地違背機率規則，因而使用了臨時拼湊的規則。他隨後證明，如果是樹形的網路，就能完全按機率規則，只通過1輪交換更新整體。1985年的報告，是他把這個機制作為人的記憶與推論的模型，在認知科學大會上發表的。

還不清楚的事：Pearl自己在摘要中寫道，只靠局部的訊息交換就能正確更新整體，僅限於任意2點之間只有1條路徑的網路。對於有多條路徑的網路，這份報告只討論了運算的方針。

決策樹──1986年，Quinlan將ID3整理成論文。源頭有2條路線：Hunt等人的CLS（1966年）與始於1963年的統計決策樹

決策樹是一種分類方法，把「天氣如何」「濕度高不高」這類問題排成分叉的形狀。按照回答沿著分支走下去，到達葉子時輸出結果（類別）。ID3按下面的辦法決定先問哪個問題來建樹：選出按這個問題劃分資料時獲得的資訊量（資訊增益，以位元計量）最大的問題，在分出去的每一支裡重複同樣的處理。Quinlan（J. R. Quinlan，New South Wales Institute of Technology）在1986年的論文《決策樹的歸納》（Induction of Decision Trees）中運算了一個具體的例子。他用的是14個週六早晨的天氣條件（天氣、氣溫、濕度、風，以及P和N 2個類別），顯示按天氣劃分能獲得0.246位元的資訊，是最大的，因此樹根是天氣。據論文所說，這一系列方法的根源是Hunt等人的CLS（1966年的書）。ID3（1979年）是在研究Michie（Donald Michie）出的一道題時開發出來的：只根據形狀特徵，辨識西洋棋殘局（王和車對王和馬）的局面。

TD學習──1988年，Sutton將不等最終結果、從下一次預測的誤差來學習的方法整理成理論

GTE實驗室的Richard Sutton，把TD方法（temporal-difference：時間差分學習法）在理論上整理成一種從經驗中學習對未來預測的方法。通常的監督學習，是用預測與最終結果的誤差來修正預測。而TD方法則用「今天的預測」與「明天的預測」之間的誤差來修正今天的預測。論文以天氣預報員為例：每天預測週六是否下雨，設週一預測50%，週二預測75%。TD方法不等週六的結果，就會把週一這樣的日子的預測調高。Sutton論證說，這樣每天都能一點一點地運算，需要的記憶也少，而且在許多情況下預測更準確。接著他對特殊情形證明了收斂性和最佳性。作為驗證的例子，他用隨機游走問題，讓程式學習從各個位置到達G的機率：從中央的D出發，每次隨機向左或向右走1步，到達最左端的A或最右端的G就結束。

還不清楚的事：Sutton論證說，當時用監督學習處理的問題，大部分其實都是TD方法可以佔優勢的預測問題（1988年的展望）。這個展望在多大程度上成立，本站沒有查證。

Q學習──1989年，Watkins在探討動物如何學習最佳行為的博士論文中提出（詳細證明於1992年發表）

Christopher Watkins在King's College的博士論文《Learning from Delayed Rewards》（從延遲到來的獎勵中學習，1989年5月）中，提出了一個問題：動物怎樣才能從經驗中學會最佳的行為。行為生態學用動態規劃（預先看清直到最後的結果，運算出最好行動的方法）來推導動物的最佳行為，但很難認為動物真的在做這種運算。於是Watkins提出了1步Q學習：在狀態x下採取行動a時的行動價值Q(x, a)，用每次試驗得到的獎勵r和下一狀態中最大的Q值，一點一點地更新。他在附錄中證明，即使沒有環境模型，只要在所有狀態下把所有行動都試很多次，就會趨近最佳行動的價值。1992年，Watkins和Dayan在學術期刊上發表了一篇把這一證明寫得很詳細的短論文。

還不清楚的事：據博士論文的序言，Sutton指出了Q學習的難點。那具體是什麼，本網站沒有查證。

profit sharing的理論──1994年，東京工業大學的宮崎和光、山村雅幸、小林重信證明：集中分配獎勵的強化學習，能在什麼條件下不學到無用的行動，並獲得人工智慧學會論文獎

強化學習（以獎勵為線索，邊嘗試邊學習行動方式的方法）中，有每走1步就更新行動價值的TD法和Q學習，也有得到獎勵時把此前一連串行動（回合）一並強化的profit sharing法。宮崎和光、山村雅幸、小林重信對profit sharing法從數學上分析了：從獎勵往前數多少步的行動，應分配多少（強化函數）。結果證明了不學習繞遠路的無效規則（行動）的充要條件（無效規則抑制定理），並表明在同樣條件下，能學到持續獲得獎勵的行動方針。論文還作了比較：Q學習為準確理解環境需要龐大的試行次數，而profit sharing法學習所需的試行次數少得多。這篇論文獲得了1994年度人工智慧學會論文獎。

還不清楚的事：這一條件之後在實際的機器人和應用中被用到什麼程度，本站沒有確認。

提升法──1990年，Schapire證明弱學習可以轉變為強學習；1995年，Freund與Schapire發表AdaBoost

提升法（boosting）是這樣一種方法：反覆構造多個只比瞎猜稍好一點的弱分類器，每一輪對前一輪判錯的資料加大權重再訓練，最後用加權多數表決匯總，得到強分類器。它的起源是計算理論中的一個問題。Kearns和Valiant把「只比瞎猜略好的弱學習」與「想多準就能多準的強學習」是否具有同樣能力，作為未解決問題（假設提升問題）留了下來。Schapire（R. E. Schapire，MIT Laboratory for Computer Science）在1990年的論文《弱可學習性的力量》（The Strength of Weak Learnability）中證明這2者是等價的，並給出了把弱學習方法變成強學習方法的構造。Freund（Y. Freund）和Schapire在1995年3月的巴塞羅那學術會議上發表了AdaBoost（1997年在學術期刊上發表論文）。論文寫道，這個名字來自它與以往方法不同，會根據弱分類器的錯誤自適應地（adaptively）調整權重。論文以一個比喻開頭：一個賽馬總輸的人，根據朋友們的戰績重新分配賭注。

還不清楚的事：為什麼訓練錯誤率降到0之後，測試錯誤率還會繼續下降？Schapire 2013年的解說寫道，用間隔（margin）來解釋，是唯一能說明過度擬合沒有發生的情形的理論。但他同時寫道，數值上的保證非常寬鬆。

梯度提升：1999年Jerome H. Friedman把用小決策樹填殘差的提升法歸納為梯度下降

梯度提升是這樣一種方法：讓下一棵小決策樹去預測當前模型的預測值與正確答案之間的誤差（殘差），再把這棵樹只加上一點點，如此反覆多次，讓預測一點點變好。Jerome H. Friedman（史丹佛大學）寫了日期為1999年2月24日的論文「貪婪函數逼近：梯度提升機」（Greedy Function Approximation: A Gradient Boosting Machine；IMS 1999 Reitz Lecture，2001年刊登於The Annals of Statistics）。論文把這種逐步疊加，看作在函數空間中沿誤差大小（損失）下降最陡的方向一點點往下走的計算（最速下降法）。如果把平方誤差當作損失，每一輪的樹學習的就是當前的殘差本身。這套步驟也能用於其他損失，如絕對誤差、Huber損失、用於分類的邏輯斯迴歸的概似等。論文還寫道，用學習率 ν 把每輪加上的量縮小（收縮），往往能得到更好的結果。

使用核函數的支援向量機──1992年，Boser、Guyon、Vapnik發表能讓彎曲邊界的間隔也達到最大的方法

支援向量機（SVM）是這樣一種方法：劃分2個類別的邊界，要讓邊界到最近的點的距離（間隔，margin）最大。Boser（B. E. Boser，加州大學柏克萊分校。部分研究在AT&T貝爾研究所進行）、Guyon（I. M. Guyon）、Vapnik（V. N. Vapnik，兩人在AT&T貝爾研究所）在1992年7月的學術會議COLT '92的論文「最佳間隔分類器的訓練演算法」（A Training Algorithm for Optimal Margin Classifiers）中，把這個問題改寫成只使用衡量點與點之間相似度的函數（核函數）K(x, x')的形式（對偶形式）來求解。這樣，即使是多項式或徑向基函數那樣的彎曲邊界，也可以用同樣的運算使間隔最大。邊界只由離邊界最近的少數訓練資料（論文裡的說法是supporting patterns）決定。在取自實際郵件的手寫數字（訓練7300張・測試2000張）上，用4次多項式核，錯誤率為4.9%，略低於同一資料上已報告的5層類神經網路的5.1%。

隨機森林──2001年，Leo Breiman讓大量隨機調整的決策樹以多數決做出預測。1995年已有Tin Kam Ho的random decision forests

隨機森林是一種方法：在稍有不同的條件下培育大量決策樹，用多數表決來決定預測。每棵決策樹都用從訓練資料中隨機選出的樣本來培育，每次分支時，從隨機選出的一部分特徵中選取最佳的分法。Leo Breiman（加州大學柏克萊分校統計學系）在2001年的論文「隨機森林」（譯）（Random Forests）中寫道：樹增多後，根據強大數法則，錯誤率會收斂到一個定值，所以過度擬合不成問題。他還證明，森林的錯誤率取決於每棵樹的強度和樹與樹之間的相關性。利用沒被隨機選中的約3分之1的樣本（out-of-bag），不需要另外的測試資料或交叉驗證，就能估計錯誤率。1995年，Tin Kam Ho（AT&T Bell Laboratories）在「Random Decision Forests」中就已指出：把使用隨機選出的一部分特徵的樹捆在一起，辨識手寫數字時，不論在訓練資料上還是在第一次見到的資料上，正確率都會提高。

奇異值分解 ── 1873年Beltrami、1874年Jordan證明，任何矩陣都能分成旋轉・伸縮・旋轉這3步

奇異值分解（SVD）說的是：任何矩陣（把數按行列排成的表，表示向量的變換）都可以拆成3個相乘的步驟：改變方向（旋轉）→ 沿各個座標軸伸縮 → 再旋轉一次。其中伸縮的倍數叫奇異值。只保留較大的奇異值，就能用較少的數很好地近似原來的表，所以它被用在偏好預測（推薦功能）和主成分分析的計算中。最先發表這一分解的是1873年的Eugenio Beltrami，刊登在面向義大利大學生的數學雜誌上。Beltrami在開頭寫道，希望借此讓年輕讀者熟悉這類代數運算。第二年，即1874年，Camille Jordan另外給出了同一分解，形式更完整。

還不清楚的事：「奇異值（singular value）」這個術語是何時固定為現在的含義的，據Stewart 1992年的說法，20世紀上半葉還不統一。本站沒有追查原始資料。

低秩的最佳近似 ── 1936年，Eckart與Young在因子分析的相關研究中解決這個問題（重新發現1907年Schmidt的定理）

芝加哥大學的Carl Eckart與Gale Young解決了這樣一個問題：用秩（相互獨立的方向的數量）更低的矩陣來近似一個矩陣，並使平方誤差之和最小。據論文摘要，先把矩陣化成標準形（相當於現在的奇異值分解），問題就容易解。解總是存在，通常只有唯一的1個。這個解就是在奇異值分解中把較小的奇異值置為0所得到的矩陣（Stewart 1992的說明）。摘要中說，這個問題與因子分析的基本概念關係很深，因子分析是用少數幾個因子來解釋測驗得分表。這篇論文刊登在這一年創刊的心理測量學期刊Psychometrika的第1卷上。

還不清楚的事：Eckart與Young是否知道Schmidt 1907年的研究，本站沒有確認（未開啟本文查閱）。

預測電影喜好的100萬美元獎金比賽「Netflix Prize」（2006〜2009年）：冠軍由20分鐘之差決定

2006年10月，當時出租電影DVD的Netflix舉辦了一場大賽：只要能把電影評分預測得比自家的推薦系統（Cinematch）準確10%，就頒發100萬美元獎金。他們發放的資料是：把姓名換成編號的約48萬人，對約1萬8000部電影打出的超過1億條評分（1—5顆星）。約3年後的2009年9月21日，BellKor's Pragmatic Chaos隊奪冠。第2名的隊伍得分相同（誤差0.8567，提高10.06%），但提交時間早了約20分鐘的一方獲勝（依據的是同分則先提交者勝的規定）。

分解喜好的表格──2006年Simon Funk在部落格公開Netflix Prize的方法：空格很多的表格，只用已知部分學習

參加預測電影好惡的大賽Netflix Prize的Simon Funk，在2006年12月11日把自己的方法（當時並列第3名）全部公開在部落格上。提供的資料是約50萬人對約1萬7000部電影打出的1億條評分，做成「使用者×電影」的矩陣，約85億個元素中有84億個缺失。Funk用40維向量分別表示使用者的好惡和電影的特徵，用它們的內積預測評分（參數約2000萬個，是原矩陣的400分之1）。這和奇異值分解（SVD）中只保留前40個奇異值的近似是同一種形式，但真正的SVD遇到缺失值就無法計算。於是，他只對已知的評分求預測的誤差，再朝著誤差變小的方向一點點修改參數，反覆進行（梯度下降。學習率為0.001）。他本人把它稱為改良的SVD。

還不清楚的事：在Funk之前，是誰想出了同樣分解有缺失值的矩陣來預測好惡的方法，本站沒有查證。

Amazon推出「Amazon Mechanical Turk」，讓電腦能委託人類完成小任務（「人工的人工智慧」）

Amazon發布了「Amazon Mechanical Turk」機制，讓程式可以向人類委託小的作業並接收結果。發布文章把電腦讓許多人去做作業並使用其結果的做法，稱為「人工的人工智慧（Artificial Artificial Intelligence）」（譯）。後來在2009年的ImageNet中，它被用於確認照片是否真的拍到了那個物體。ImageNet的論文把它說明為作業者獲得報酬的場所。

普林斯頓大學的李飛飛等人發表ImageNet，收集數百萬張附有名稱的照片。核對的是透過網路接工作的工作者

李飛飛等人以按階層結構整理概念的字典WordNet為基礎，發表了ImageNet：為約8萬組名詞，各收集平均500〜1000張照片（論文的例子是「緬甸貓」（譯））。發表時已達12個領域、5247個類別、320萬張。影像透過搜尋引擎收集；照片是否正確呈現目標物體，由全球在Amazon Mechanical Turk接工作、領取報酬的工作者逐張核對，再以多人投票決定。

還不清楚的事：關於工作者的人數、居住國和報酬金額，這篇論文中沒有記載（未確認）。

Google的3位研究者發表「資料超乎常理的有效性」：別再追求極為優美的理論，讓資料成為助力

Google的Halevy、Norvig、Pereira寫道，在處理語言的機器學習中，最成功的是統計語音辨識和統計機器翻譯。翻譯（語音轉寫也一樣）是為了人們的實際需求，每天都在進行的事，因此現實世界已有大量訓練資料，能呈現想自動化的「輸入與輸出的行為」。他們也提到，2006年Google公開了1兆詞的文字資料（最多5個詞的排列出現次數）。接著指出「簡單的機制加上大量資料，總能勝過以少量資料為基礎的更複雜機制」，並在結尾寫下「跟著資料走」。

NVIDIA發布CUDA，讓原本用來繪製影像的GPU也能用於其他計算

用來繪製遊戲影像的GPU（圖形處理半導體），具有用許多小的計算核心（core）同時做同樣計算的能力（GeForce 8800 GTX最多有128個）。NVIDIA在發布GeForce 8800的同時，發布了讓GPU能用通用程式語言（C語言）去做影像處理以外的計算的機制「CUDA」。後來，它成了讓類神經網路高速學習的工具（2009年史丹佛的論文，以及2012年影像辨識競賽的優勝隊伍，也都用了GPU）。

史丹佛的吳恩達等人指出，用GPU訓練類神經網路最多可加速70倍

Raina、Madhavan、吳恩達，用遊戲用GPU（NVIDIA GeForce GTX 280）訓練進行非監督式學習的深層網路。比一般CPU（2核心）最多快70倍，將包含1億個數值的4層網路的訓練時間，從「數週」縮短到「約1日」。論文指出，雖然大規模資料的學習很重要，但計算太慢，使實驗只能維持在小規模。

Google試驗大規模類神經網路的團隊「Google Brain」啟動

據Google的部門X（頁面下方寫著「X, a division of Google LLC」，標題是「Brain - A Google X Moonshot」）的官方頁面，Google Brain團隊於2011年開始活動，2012年底從X轉入Google。2011年12月，Google和史丹佛大學的研究者公開了用沒有標籤的YouTube影像進行學習的論文（後來的Google貓論文）的初版。2012年的論文發表了用幾千台電腦訓練1個大規模類神經網路的機制DistBelief，報告稱訓練出了比以往報告大30倍的網路，還加快了商用 語音辨識 的訓練。2023年4月，Google宣布把這個團隊與DeepMind合併為Google DeepMind。

深度學習在影像之前，先在「語音辨識」上出成果（2009～2012年）

深度學習（用堆疊很多層的類神經網路來學習的AI機制）從2009年前後起，在語音辨識上開始超過此前長期使用的統計方法（GMM）。2012年，多倫多大學、微軟研究院、Google、IBM這4個研究小組把「共同的看法」整理成論文，展示了在對話轉寫測試中，把單詞錯誤率從27.4%降到18.5%（約減少了3分之1）等結果。Google在2012年8月6日的部落格裡寫道，在新版Android上對著手機說話時，「你很可能正在和一個經過訓練、能辨識你語音的類神經網路說話」。

還不清楚的事：4個小組的論文寫道，回頭看，成果的大部分來自「利用前後聲音片段（音框）的資訊」和「依照前後的聲音加以區分，將相似的歸在一起，並預測這些聲音狀態」。另一方面，論文也寫道「沒有理由認為目前使用的零件（隱藏層的單元）的種類和組合方式是最好的」（pdf第13頁）。為什麼更深的類神經網路更好，當時仍未能完整解釋。

日本國家研究機構NICT向全世界公開智慧型手機應用程式「VoiceTra」：說話後，就會翻譯並以語音回答

2010年夏天，日本國立研究機構NICT（資訊通信研究機構）在App Store上向全世界免費發布了語音翻譯應用程式VoiceTra和文字翻譯應用程式TexTra。對iPhone說話，VoiceTra就會譯成另一種語言，並用聲音回答。翻譯的計算不是在iPhone上，而是在伺服器上進行。能用語音的有日語、北京話、英語、印尼語、越南語（馬來語在準備中）。對象是旅行會話，NICT把語音翻譯的能力說明為「大致相當於具備TOEIC 600分語言能力的人」（譯）。發布的目的是評估性能和調查好不好用。據NICT 2015年的發布，這項技術還用在了成田國際機場的應用程式等實際服務中。後來它又成為總務省「全球溝通計畫」（譯）（2014年4月，目標是到2020年讓訪日外國人不會為語言發愁）的核心應用程式。

蘋果發表搭載「Siri」的iPhone 4S，開口說話就能請它幫忙辦事（最初是『測試版』）

2011年10月4日，蘋果在發布iPhone 4S的同時，發布了用聲音下達請求就能幫忙辦事的「智慧助理」Siri。發布文章中的例子是：問「這個週末需要帶傘嗎？」，它會理解為在查天氣預報。最初是「測試版（beta）」，支援的語言只有英語（面向美國、英國、澳洲）、法語和德語。在日本，iPhone 4S於10月14日發售，但支援日語的Siri要到2012年3月8日才有。Siri的源頭是SRI International在美國國防部的研究機構DARPA的計畫PAL中推進的研究CALO。2007年它作為公司獨立出來，2010年4月蘋果收購了這家公司（SRI和DARPA的說明）。

NTT docomo推出語音對話服務「Shabette Concier」（2012年3月，比日語版Siri早1週）

2012年3月1日，NTT docomo推出「語音代理功能」（譯）Shabette Concier，作為docomo的Android智慧型手機免費應用程式。只要對智慧型手機說話，就能查詢資訊，或操作電子郵件、鬧鐘等。它會從詞語的組合讀出說話者的「意圖」，選擇適當的服務或回答。語音辨識 等複雜處理在docomo的網路端（雲端）進行，而不是在手機上進行。docomo說明，這是繼2011年11月開始試用的「口譯電話」（譯）之後，另一項運用雲端的服務。日語版Siri則在1週後的3月8日開始提供。

IBM的問答AI「Watson」在美國益智節目Jeopardy! 中，擊敗2位歷屆冠軍

2011年2月，IBM研究團隊開發的問答系統（閱讀自然語言的問題並給出答案的程式）Watson，在美國電視問答節目Jeopardy! 中與2位歷屆冠軍進行了2場比賽。最終得分是Watson 77,147美元，肯·詹寧斯24,000美元，布拉德·拉特21,600美元（IBM的歷史頁面）。Watson沒有連接網際網路，用多種方法給出答案候選並收集證據，只有在用 機器學習（從資料中學習的機制）綜合得出的「信心程度」足夠高時，才會按下搶答按鈕。第1場的最後一題問的是一個美國城市，它回答「多倫多」，答錯了。

ReLU（負值輸出0，正值原樣輸出）如何成為深度學習的標準：2010年命名，2011〜2012年普及。1968年福島邦彦的模型已有同樣的形式

ReLU（rectified linear unit，整流線性單元）是這樣一種單元（神經元）：輸入x大於0時原樣輸出，等於或小於0時輸出0，用式子寫就是max(0, x)。sigmoid（S形函數）和tanh在輸入很大時，斜率幾乎為0（飽和），而ReLU在正值時斜率始終為1，所以用反向傳播往回傳的訊號不容易變弱。2010年，多倫多大學的奈爾（Nair）和辛頓證明，把受限玻爾茲曼機中取0或1的隱藏層單元，換成許多用相同權重、逐步錯開的單元排在一起，就能用帶雜訊的rectified linear units近似出它的功能。他們還報告說，辨識物體照片和人臉的成績變好了。2011年，蒙特利爾大學的格洛羅（Glorot）等人寫道：這種單元作為真實神經細胞的模型也更好，能做出恰好為0的值很多的（稀疏的）表示。他們還寫道，只要有標註的資料多，即使沒有事先的非監督式學習，深層網路也能學得很好。2012年的AlexNet論文仿照奈爾和辛頓，稱之為ReLU，並寫道它比使用tanh的同一網路學習得快好幾倍。

還不清楚的事：最早使用Rectified linear這個叫法的，是不是2010年的論文，尚未確認（2010年的論文寫道，2009年的賈勒特等人稱之為positive part）。福島1969年的英語論文（IEEE）要付費，正文沒有翻開。2009年賈勒特等人的論文也沒有翻開。

如何設定權重初始值：依各層神經元數量調整範圍（Glorot與Bengio，2010），以及適用於ReLU的方法（He等人，2015）

在訓練深層網路之前，先在權重裡放入什麼樣的值（初始化），會極大地影響能否訓練成功。這是因為，如果訊號每經過一層都按一定比例變大或變小，層數一多，反向傳播的梯度就會消失或發散。2010年，蒙特利爾大學的Glorot和Bengio指出，當時常用的、從前一層的神經元數n出發在 ±1/√n範圍內取值的做法，會使反向傳播訊號的離散程度（變異數）逐層變小。於是他們提出了normalized initialization：利用該層輸入側與輸出側的神經元數nj和nj+1，在 ±√6/√(nj+nj+1)的範圍內均勻取值。目的是讓正向傳播的值與反向傳播訊號的離散程度，在每一層都大致保持相同。2015年，微軟研究院的Kaiming He等人指出，這種推導以神經元是線性的（輸出與輸入成正比）為前提，不適合ReLU。於是他們為ReLU提出了從平均值0、標準差 √(2/n)的常態分布中取值的方法。他們寫道，用這種方法30層的網路也能訓練，而用Glorot和Bengio的方法，訓練則停住了。

還不清楚的事：Caffe中Xavier這個名字是何時、由誰起的，沒有查證（沒有打開Caffe的論文和程式記錄）。2010年的論文稱為commonly used heuristic的 ±1/√n的做法，是誰、何時開始的，也沒有查證。

Dropout：每次訓練都讓 隱藏層 神經元隨機休息一半，防止過度配適（2012年）

Dropout是這樣一種方法：訓練時每給網路看1個資料，就按固定的機率（常用0.5）隨機把 隱藏層 的神經元暫時去掉（讓其輸出為0），再進行學習。它能防止特定神經元之間相互依賴的現象（co-adaptation），抑制過度配適，即與訓練資料擬合得太好，反而在新資料上出錯。使用（預測）時，所有神經元都用上，並把輸出的權重減半（2014年的論文中，是把保留機率p乘到權重上）。這樣得到的答案，就接近於共享權重的許多「細網路」預測值的平均。2012年7月的arXiv論文（多倫多 大學的辛頓、Srivastava、Krizhevsky、Sutskever、Salakhutdinov）在手寫數字（MNIST）等資料上做了試驗，並寫道在語音和物體辨識上刷新了紀錄。同年的AlexNet論文中，也把它用在2個全連接層上，並寫道不用的話過度配適會嚴重得多。

還不清楚的事：Dropout是什麼時候構想出來的，以及辛頓本人後來講過的靈感故事（有好幾個版本），由於沒有查找原始的談話，這裡沒有寫。

瑞士IDSIA以GPU訓練的深層卷積類神經網路，交通標誌辨識 錯誤率 降至人類的一半（在2012年大賽的8個月前）

瑞士研究所IDSIA的Cireșan、Meier、Schmidhuber，用遊戲用的GPU訓練了一種把多個深層卷積類神經網路並排放置、再對輸出取平均的方法（多列深層網路）。在德國交通標誌辨識（測試資料1萬2569張）中，錯誤率 為0.54%，據論文說 人類的錯誤率 是它的兩倍。在手寫數字MNIST上也達到0.23%，論文寫道，這是首次接近人類約0.2%的水準。

Google的貓實驗：只看沒有標籤的YouTube影像來學習，網路中就出現了對貓臉有強烈反應的神經元

Google和史丹佛大學的Le、Ng等人，從YouTube的1000萬部影片中各取1張影像（200×200像素），不加標籤地給一個擁有10億個連接的9層類神經網路看，讓它學習。用1000台電腦（1萬6000個核心）花了3天。結果，沒有教它，它就出現了對人臉有反應的神經元，也出現了對貓臉和人體有反應的神經元。Google在部落格中介紹說，其中1個人工神經元「學會了對貓的圖片做出強烈反應」，並強調「這個網路從來沒有被告知過貓是什麼」。

還不清楚的事：論文透過排列反應強烈的影像、生成能使反應變強的影像，來研究學到的神經元對什麼有反應。當時就已經想出了探查內部運作的辦法。

影像辨識大賽（ILSVRC 2012）：多倫多 大學的深層卷積類神經網路（SuperVision）以大幅差距獲得第1名。第2名是東京大學團隊

在從照片中辨識1000種物體的比賽裡，Krizhevsky、Sutskever、辛頓的團隊「SuperVision」，在允許回答5次的規則下把 錯誤率 壓到了15.3%（僅使用比賽提供的資料時為16.4%）。第2名東京大學的團隊（ISI）為26.2%，相差約11個百分點。他們用2塊遊戲用的GPU（影像處理用的半導體，NVIDIA製造），訓練了一個擁有6000萬個參數的8層類神經網路。比賽的主辦方在後來的論文中寫道，這一年是「轉捩點」。

影像辨識比賽第1名的「錯誤率」，8年間從28%降到2%。「人類是5.1%」來自1人的測量

在從影像中辨識1000種物體的比賽（允許回答5次的規則）中，第1名的錯誤率一路下降：2010年28.2%，2011年25.8%，2012年15.3%（僅用提供的資料時為16.4%），2013年11.7%（也使用外部資料時為11.2%），2014年6.7%，2015年3.6%，2016年3.0%，2017年2.3%。主辦單位還測量了人類的錯誤率。那是由2個人（A1和A2）做的測試：用500張練習過的A1，在1500張上是5.1%；只練習了100張的A2，在258張上是12.0%。

從棋譜學習的將棋軟體Bonanza奪得世界大賽冠軍，次年與渡辺明龍王公開對局

將棋軟體Bonanza由化學研究者保木邦仁開發，2005年6月免費公開。與此前多數將棋軟體不同，它採用了讀取規則上所有可走之手的「全寬搜尋」（譯）。此外，它還引入了「機器學習」（譯），讓程式學習如何評價局面，使其走法與職業棋士的棋譜一致。作者說，他把控制化學反應的研究思路用到了局面評價的學習上。2006年5月，在首次參加的第16屆世界電腦將棋錦標賽上，它在8支決賽隊伍的循環賽中以6勝1負奪冠。2007年3月21日，它與渡辺明龍王進行了每方2小時的公開對局。中盤時曾有人認為Bonanza佔優，但最終龍王走了112手獲勝。後來它的製作方法（2009年還包括程式內容）被公開，誕生了Bonkras等以Bonanza為基礎的將棋軟體。

資訊處理學會的將棋軟體「Akara 2010」（譯）戰勝清水市代女流王將

2010年4月，資訊處理學會向日本將棋聯盟發出了挑戰書，稱「希望讓電腦將棋與頂尖職業棋士進行公開對弈」（譯）（意思是希望這樣的對局成真）。聯盟的米長邦雄會長接受了挑戰，把第一個對手定為女流棋士中的第一人清水市代女流王將。10月11日，雙方在東京大學本鄉校區對局，下到第86手時清水女流王將認輸，Akara 2010獲勝。Akara 2010讓日本頂尖的4個將棋程式（激指、GPS將棋、Bonanza、YSS）思考同一個局面，採用走最多程式選中的那一手的「多數決」機制，使用了208台電腦（核心共計658個）。

第1屆將棋 電王戰：米長邦雄永世棋聖113手敗給「Bonkras」

2012年1月14日，在東京的將棋會館，日本將棋聯盟會長、已退役的棋士米長邦雄永世棋聖，與富士通研究所的伊藤英紀開發的將棋軟體「Bonkras」對局，Bonkras以113手獲勝。Bonkras是以公開的將棋軟體Bonanza為基礎，改進為用多台電腦平行搜尋的軟體，這天用6台伺服器每1秒讀取約1800萬手。它的名字是把Bonanza與表示平行電腦（用多台電腦同時計算的系統）的「叢集」（譯）（cluster）組合而成的合成詞（富士通研究所發表中的說明）。

西洋跳棋「已被解決」：電腦證明雙方不出錯則必為和棋

亞伯達大學的Jonathan Schaeffer等人，從1989年起幾乎不間斷地執行數十台電腦，證明了西洋跳棋「雙方都下得完美，就會和棋」。西洋跳棋的盤面約有5×10²⁰（5垓）種，是此前被解決的著名遊戲中最難的。證明的核心工具中的1個，是東京大學長井歩2002年博士論文中的搜尋方法（df-pn）。論文發表時已轉到北海道函館一所大學的岸本章宏也在合作者之列。

職業棋士與將棋軟體首次對局是何時？不同資料分別指向2005年、2007年、2013年

關於職業棋士與將棋軟體「首次的」（譯）對局，資料提出了3個年份。① 2005年9月TACOS與橋本崇載五段的對局，當時的報紙引用作者飯田弘之教授的話，報導稱「職業棋士在公開場合與電腦不讓子對弈，這是第一次」（譯）。② 2007年3月Bonanza與渡辺明龍王的對局，研究者的解說寫道「職業棋士與電腦在正式場合對戰，這是第一次」（譯），2020年的採訪文章則寫道「作為職業棋士首次在公開場合」（譯）。③ 日本將棋聯盟的專欄（2017年）將2013年第2屆將棋電王戰描述為「職業棋士首次正式與電腦將棋軟體對戰」（譯）。由於「公開場合」（譯）「正式場合」（譯）「正式地」（譯）的用詞差異，三者都能稱為「首次」（譯）。

日本將棋聯盟規定，職業棋士在公開場合與軟體對局時，須「事先與主辦單位和聯盟商量、確認」（譯）

2005年9月18日，在石川縣小松市，北陸先端科學技術大學院大學的飯田弘之教授等人開發的將棋軟體「TACOS」，與橋本崇載五段進行了平手（不讓子）的公開對局。獲勝的是職業棋士，但直到終盤之前都是軟體佔優（產經新聞）。約1個月後的10月14日，日本將棋聯盟宣布，「為了建立電腦將棋軟體與人類在正式場合對弈的環境」（譯），棋士、女流棋士在公開場合與將棋軟體對局時，要事先由主辦單位與聯盟商量、確認。同一份發布中還寫道：「今後也希望像以往一樣，協助將棋軟體的發展」（譯）。

國立資訊學研究所啟動「機器人能考上東京大學嗎」（譯）（東大 機器人 君）計畫。目標是到2016年為止，在日本大學入學中心考試取得高分，並 在2021年通過東京大學入學考試

國立資訊學研究所在2011年啟動了開發解答大學入學考試題的電腦程式的「人工大腦計畫」（譯）。其目的是重新整合1980年 以後被細分的 人工智慧 研究，並給年輕人帶來夢想。作為具體指標，它提出了「到2016年為止，在日本大學入學中心考試中取得高分」（譯）和「在2021年通過東京大學入學考試」（譯）的目標。

後來：在2016年11月14日NII的發布中，該系統在中心考試的模擬考試（5門學科8個科目）中獲得525分（全國平均454.8分），偏差值57.1。這一成績相當於，對512所私立大學的1343個學部、23所國公立大學的30個學部，合格可能性在80%以上。在東大入學考試的模擬考試中，數學（理科）達到偏差值76.2（6道題中有4道不借助人力完整解答）。同一天報告會上對中心考試相關研究的處理，請參見2016年東大 機器人 君的事件（記錄 → Torobo-kun：到2021年在東大入學考試取得錄取分數的目標，201…）。關於2021年通過東大入學考試的發布，本站沒有找到。

預言：2010年日本的機器人市場約3兆日圓（2001年業界團體的預測）──家用與醫院用機器人的市場，實際上不到100億日圓

2001年，日本機械工業聯合會和日本機器人工業會的報告書，按5個領域預測了機器人市場。2010年生活領域1.5兆日圓、製造業8,500億日圓、公共2,900億日圓、醫療福祉2,600億日圓、生物900億日圓（合計約3兆日圓），2025年合計約8兆日圓。據產業技術綜合研究所的荒井裕彦2009年的分析，這一預測被經濟產業省等用作說明研究開發預算的依據，並透過報導廣為流傳。2005年愛・地球博的發布稿中也寫道「預計2010年的市場規模將達到1.8兆日圓」（譯）。

後來：據荒井裕彦2009年的分析，製造業以外的下一代機器人市場，在工業會等的實況調查中每年僅為14〜68億日圓（不到100億日圓），與2010年的預測（製造業以外約2兆日圓）相去甚遠。2006〜2008年，國家機構和工業會自己把2010年的預測下修到了500〜750億日圓。2015年，政府的「機器人新策略」（譯）把機器人的市場規模定為「目前的6,000億日圓」（譯），並設定了2020年達到2兆4,000億日圓的新目標（總務省2015年的白皮書）。2025年預測的驗證，本站沒有做。