データから自分で学ぶ

ヒントンたちが深いニューラルネットワークを「1層ずつ」学ばせる方法を発表。深層学習（「ディープラーニング」）への大事な一歩とされる

層をたくさん重ねたニューラルネットワークは、誤差逆伝播法だけではうまく学習できなかった。ヒントンたちは、まず1層ずつ、正解を与えずに「データの特徴」をつかませ（事前学習）、そのあと全体を誤差逆伝播法で調整する方法を示した。手書き数字のMNISTで誤り率1.25%（Neural Computationの論文）、画像や文書を少ない数で表す処理でも、それまでの方法より優れていた（Scienceの論文）。

ベイズの論文 ── 1763年、友人プライスが遺稿を発見して王立協会へ送る

ベイズの定理は、結果（証拠）を見た後で、その原因や仮説がどれくらい確からしいかを計算し直す考え方である。単純ベイズ分類の基礎となる。1763年12月23日、王立協会で、プライス（Price）が会員のカントン（John Canton）にあてた手紙の形で、ある論文が読まれた。亡くなった友人ベイズの書類の中からプライスが見つけた『An Essay towards solving a Problem in the Doctrine of Chances』で、会報Philosophical Transactionsの53巻（370ページから）に載った。プライスの手紙によると、ベイズの狙いは次の方法を見つけることだった。ある出来事がこれまで何回起き、何回起きなかったかだけが分かっていて、他には何も知らない時に、その出来事が起きる確率を判断する方法である。

単純ベイズで文書を分類 ── 1961年、マロンが手がかりの単語から論文の分野を確率で当てる実験。単語どうしは独立という仮定は正しくない、と本人が書いていた

単純ベイズ（ナイーブベイズ）分類は、文書に含まれる手がかりの単語から、その文書が各分野に属する確率をベイズの定理で計算し、最も確率が高い分野に分類する方法である。分野が決まれば単語同士は独立に出現すると仮定し、単語ごとの確率を掛け合わせるだけで計算できるようにする。マロン（M. E. Maron、The RAND Corporation）は1961年の論文『Automatic Indexing: An Experimental Inquiry』で、コンピュータ雑誌IRE Transactions on Electronic Computersの1959年の要約405本を使って実験した。3月号と6月号の260本を訓練データとして単語と分野の関係を数えた。9月号の145本は準備の間まったく見ないでおき、あとでテストデータとして使った。分野は32、手がかりの単語は90語である。手がかりの単語を2つ以上含むテスト用の85本では、確率1位の分野が正しかったのは44本（51.8%）、上位3位以内に正しい分野があったのは68本（80%）だった。

分かっていないこと：この1961年の実験は、テスト用の145本を準備の間まったく見ないでおく形で、訓練データとテストデータを分けていた。訓練に使った文書での正解率（1位が正しい割合84.6%）より、新しい文書での正解率（51.8%）がずっと低いことも、論文の数字から分かる。

最小二乗法 ── 1805年にルジャンドルが本の付録で発表し、1809年にガウスが1795年から使っていたと主張（統計史で最も有名な先取り争い）

最小二乗法（さいしょうにじょうほう）は、測った値と式で計算した値の誤差を1つずつ2乗してすべて足し合わせ、その合計が最も小さくなるように式の定数（直線なら傾きや切片）を決める方法である。ルジャンドル（A. M. Legendre）は1805年、パリで出版した彗星の軌道決定に関する著書『Nouvelles méthodes pour la détermination des orbites des comètes』の付録『Sur la Méthode des moindres quarrés』（最小二乗法について）で、式の数が知りたい数より多いと誤差をすべて0にはできないため、誤差の2乗の和を最小にするのが最も一般的で正確で実用的だと書いた。こうすると誤差同士の釣り合いが取れ、極端な誤差の影響を防げるとも記している。ガウス（C. F. Gauss）は1809年にハンブルクで出版した天体運動の著書『Theoria motus corporum coelestium』の186節で、差の2乗の和を最小にする原理は自分たちが1795年から使ってきたもので、最近ルジャンドルも発表した、と書いた。1981年に歴史を調べ直したスティグラーは、これを統計の歴史で最も有名な優先権争いと呼んでいる。

分かっていないこと：ガウスが本当に1795年に使っていたかは決着していない。ガウスの後年の証言では1794年とされることもあり、年代に揺らぎがある。スティグラーは、フランスの子午線測量のデータを使えば確かめられるかもしれない、と書いている。

ロジスティック関数（S字の曲線）── 1838年、フェルフルストが人口の増え方の式として発表。名前がつくのは1845年

ロジスティック関数は、初めは倍々に近い速さで増えるが、上限に近づくほど増加がゆるやかになり、S字の形を描く式である。後のロジスティック回帰では、このS字を使って確率（0から1の間の数）を表す。フェルフルスト（P.-F. Verhulst）は1838年、ケトレ（Quetelet）が編集した雑誌『Correspondance mathématique et physique』第10巻の短い論文で、人口pの増える速さをdp/dt = mp − np² という式で表した。倍々に増える項mpから、人口が多くなるほど強くかかるブレーキnp² を引いた式である。この答えの式から、時間がたつと人口は上限m/nに近づくことが分かる。彼はフランス・ベルギー・エセックス・ロシアの人口データと比較し、この研究は1833年に完了しており、ケトレに勧められて発表したと書いている。ブレーキの形をnp³、np⁴、n log pに変えても観測との誤差はほとんど同じだったが、上限の値は大きく変わった、とも記している。

分かっていないこと：フェルフルスト自身、ブレーキの形をいろいろ変えても観測との誤差は同程度なのに、上限の予想は大きく変わると指摘した。ブレーキの本当の形は将来だけが明らかにできる、と結んでいる。少ないデータではどの式が正しいかを決めきれないという問題は、のちのモデル選択（AICなど）の議論につながる。

ロジスティック回帰 ── 1958年コックスが0と1のデータの回帰を発表。本人は、最初にやった人は分からないと話していた

ロジスティック回帰は、答えがはい・いいえのように1か0になるデータで、1になる確率を年齢などの説明変数から予測する手法。通常の線形回帰では予測が0より小さくなったり1より大きくなったりするが、S字のロジスティック曲線を使うと予測がいつも0と1の間に収まり、結果はオッズ比（起きやすさの比）で読み取れる。コックス（D. R. Cox、論文の所属はBirkbeck College, University of London）は1958年7月の論文『The Regression Analysis of Binary Sequences』で、0と1の並びを観測し、1が出る確率が1つ以上の説明変数に左右されると考えられる時の検定と推定を扱った。要旨には、先行する研究がかなりあり、それも見直す、と書いてある。コックスは1994年のインタビューで、狙いは最小二乗回帰に似た、0と1のデータを分析するための体系的な枠組みを作ることで、バークベック・カレッジの実験心理学の人たちが0と1のデータの分析に強い関心を持っていたことがきっかけの1つだった、と話している。

分かっていないこと：ロジスティック回帰を最初に使った人は、当事者の話でもはっきりしない。コックスはコーンフィールドの名を挙げたが、影響を受けたかどうかは覚えていない、とも話している。

主成分分析の原型 ── 1901年、ピアソンが、点の集まりに最も近い直線は点の広がりが最も長い軸の向きだと示す

ロンドンのUniversity Collegeのカール・ピアソンは、平面や3次元以上の空間にある点の集まりに、最もよく当てはまる直線や平面を求める問題を扱った。通常の最小二乗法（回帰分析：yだけに誤差を想定して縦のずれを小さくする）では、xとyのどちらを基準にするかで違う直線になる。ピアソンは、xもyも等しく測定誤差を含む場合、点から直線へ下ろした垂線の長さの二乗和を最小化すればよいとした。そしてその直線は重心を通り、点の散らばりを表す楕円体の最も長い軸の向きになることを示した。これが現代の主成分分析（多数の数の組を、ばらつきが最も大きい向きから順に取り出した少ない数で表す方法）の第1主成分の向きにあたる。論文には10個の点の数値例があり、最も近い直線の傾きは−0.546、xからyを予測する回帰直線なら−0.5396、yからxを予測するなら−0.5659と、3本の直線が異なることを示している。

主成分分析：1933年、ホテリングが、テストの点のような多くの数を、ばらつきの大きい順に取り出した少ない成分で表す方法を主成分の方法と名づける

コロンビア大学のハロルド・ホテリングは、子どもの算数の速さや読みのテストの点のように、互いに関係し合う多数の変数の奥に、より少数の、互いに関係のない基本の量があると考え、それを取り出す方法を示した。まず全変数のばらつきを最も大きく説明する成分を1つ取り、次にそれと関係のない成分の中から残りのばらつきを最も説明するものを順に取り出す。影響の小さい成分は切り捨ててよい。彼はこれを「主成分の方法」と名づけ、点の分布の楕円体の主軸に座標軸を合わせることと同じだと説明した。心理学で「心の因子」と呼ばれていたものだが、心理学以外の分野（電柱の性質や為替レートなど）でも使え、数学のfactorという言葉とぶつからないよう、components（成分）と呼ぶことにしたと記している。

分かっていないこと：ホテリングがピアソンの1901年の論文を知っていたかどうかは、このサイトでは確かめていない（保存した写しは機械で読み取った文字で、全ページは読んでいない）。

数量化理論：1950年、林知己夫が仮釈放の予測のため、質的データに数を与える方法を論文にする

統計数理研究所の林知己夫は、1948年の日本人の読み書き能力調査が終わりに近づいたころ、法務省矯正保護研修所の刑法学者から相談を受けた。刑期の3分の1を過ぎた受刑者を仮釈放してよいかの判断を、統計的により確実にしたいという依頼だった。それまでの方法は、各項目の回答に人の判断で−2, −1, 0, 1, 2のような点数を割り振って合計していた。林は横浜刑務所に通い、刑務所生活によくなじんでよく働く優等生は、釈放してもすぐに戻ってくるという話を聞いた。ひどく反抗的な人も再犯しやすく、中間の人が最も再犯しにくい傾向も読み取った。評価の点数は単純に一方向に並ぶとは限らないと分かった。そこで、再犯しなかったグループとしたグループが最も明確に分かれるよう、各回答（質的データ）に割り当てる数値そのものをデータから決める着想を得た。1950年の英語論文では、これを予測の成功率を最大化する問題として定式化した。林はその後、読み書き能力調査や国鉄の保線区員の人間関係調査、輸出用缶詰のラベルデザインの調査など現場の課題ごとに手法を開発し、それらはまとめて数量化理論と呼ばれるようになった。

分かっていないこと：林が作った数（重み）で、実際に仮釈放の判断がどれだけ変わったか（現場で使われたか）は、このサイトでは確かめていない。

k近傍法の始まり：1951年、フィックスとホッジスが米空軍の報告書で考案（雑誌論文にはならず）

k近傍法（k-NN）は、分類したい新しい点に近い順にk個のラベル付きデータを探し、最も多数を占めるグループに分類する手法である。あらかじめデータの分布を決めないため、ノンパラメトリックな手法と呼ばれる。1951年2月、フィックス（E. Fix）とホッジス（J. L. Hodges, Jr.）は、アメリカ空軍航空医学校（USAF School of Aviation Medicine、テキサス州Randolph Field）の報告書『Discriminatory Analysis, Nonparametric Discrimination』で、この種の規則を考案した。データの数nの増加に合わせてkも増やし、k/nを0に近づければ、この規則が一致性を持つ（データが増えるほど最適な分類に近づく）ことを示した。1967年のカバーとハートの論文がこう紹介している。

分かっていないこと：1951年の報告書そのものは、このサイトではまだ原本を開いて確かめていない。内容は1967年の論文と解説記事の紹介に基づいている。

最近傍法の理論的保証 ── 1967年、カバーとハートが、最も近い1点に合わせるだけの分類でも誤り率は理論上の最小の2倍を超えないと証明

最近傍法（k=1のk近傍法）は、新しいデータを、最も近い分類済みの点と同じクラス（組）に分類する手法である。カバー（T. M. Cover、Stanford University）とハート（P. E. Hart、Stanford Research Institute）は1967年1月の論文『Nearest Neighbor Pattern Classification』で、分類済みの点が十分に多いとき、この手法の誤り率Rは、分布を完全に知っている場合の最小誤り率R*（ベイズ誤り率）より小さくはならないものの、R* の2倍を超えないことを示した（クラス数をMとするとR* ≤ R ≤ R*(2 − MR*/(M − 1))）。論文は、この意味で、無限のデータに含まれる分類情報の半分は最も近い1点に含まれている、と書いている。

分かっていないこと：この理論的保証は、データが十分に多いとき（論文の言葉でlarge sample）の話であり、データが少ないときの性能については述べていない。

k-meansのもと ── 1957年、ロイドがベル研究所で、信号を少ない代表値で表す一番よい決め方を探す手順を書く（学術誌に載ったのは1982年）

ベル研究所のスチュアート・ロイドは、PCM（パルス符号変調：信号の電圧を、決まった数の代表値のどれかに置きかえて送るやり方）について考えた。元の信号との誤差の二乗の平均（量子化雑音）が一番小さくなる区切りと代表値を求める問題である。彼が方法Iと呼んだ手順は、(1)区切りを決めて、各区間の重心（平均）を代表値にする、(2)隣り合う代表値のちょうど真ん中を新しい区切りにする、を交互に繰り返す。これは1次元のk-means（点を一番近い代表のグループに分け、代表をそのグループの平均に動かす、を繰り返す手順）と同じ形をしている。この原稿は1957年にベル研究所内で回覧され、同年9月に統計学の学会の会合で一部が発表されたが、学術誌に載ったのは約25年後の1982年だった。

分かっていないこと：1957年の原稿そのもの（ベル研究所の内部記録）は公開されておらず、このサイトでは1982年の論文の付記で確かめただけである。1957年の会合で何をどこまで発表したかは分かっていない。

k-means ── 1967年、マックイーンが、点をk個の組に分ける手順をk-means（k個の平均）と名づける

カリフォルニア大学ロサンゼルス校のJ・マックイーンは、データ（点）を、組の中のばらつき（平均からの距離の二乗の合計）が小さくなるようにk個の組に分ける手順に、k-meansと名づけた。彼の手順では、初めのk個の点をそれぞれ1つの組にする。そのあとは新しい点を1つずつ、平均が一番近い組に入れ、その組の平均をすぐに更新する。どの段階でもk個の平均が各組の平均になっていることから、k-meansと呼んだ。同じ論文でマックイーンは、いまよくk-meansの手順として紹介される形（全部の点を一番近い平均の組に分け直す → 各組の平均を計算し直す、の2段を繰り返す）も紹介している。これは、フォージーとジェンリッチがそれぞれ別に気づき、1963年ごろに教えてくれた方法だという。

分かっていないこと：複数の研究者が独立に同じ手順へ到達したことは分かっているが、その間でどれほど情報の行き来があったか（例：ロイドの1957年の原稿を誰が読んでいたか）は、このサイトでは確かめていない。

階層クラスタリング ── 1958年、ソーカルとミッチェナーがハチ97種を似た順に樹形図へまとめる

カンザス大学昆虫学科のロバート・ソーカルとチャールズ・ミッチェナーは、単独で暮らすハキリバチ科97種を分類した。1種あたり122個の特徴（腹の色が赤か黒か、のような形質）を比べ、種同士の似かたを相関係数（2つの数の並びがどれだけ同じように増減するかを表す数）で表した。そして似ている種同士をグループにし、できたグループ同士を順につないで全体を樹形図にまとめた。これが現在の階層クラスタリング（近いものから順にまとめて、入れ子の組の木を作る手法）の考え方である。従来の分類は少数の特徴に人の主観で重みをつけていたが、2人は多くの特徴を等しい重みで扱った。計算にはIBMのパンチカード機械と、卓上計算機を使う人（論文では計算手をcomputerと記述）を動員し、相関係数の計算だけで160人時かかった。2人は、当時のデジタルコンピュータなら1時間もかからないとも書いている。

分かっていないこと：似たものから順にまとめて木を作る考えは、同じころほかの分野でも出ていたとされるが、このサイトではそれらの元の論文を開いておらず、確かめていない。どれが最初かは決めていない。

ウォード法 ── 1963年、ウォードが目的関数を選んで2つずつ統合する階層型クラスタリングを示す

空軍基地（Lackland Air Force Base）航空宇宙医学部門のジョー・H・ウォードJr. は、100を超えるような大規模な調査で、人や対象を似たグループ（クラスタ）に分ける手順を示した。n個のグループ（初めは1つずつ）から2つを合わせるn(n−1)/2通りをすべて調べ、目的関数（まとめ方の良さを表す数値。調べる人が目的に合わせて選ぶ）が最も良くなる2つを統合してn−1個にする。これを1つになるまで繰り返すと、全体の階層構造と、各段階で失われる情報量が分かる。論文の例では、10人の点数2, 6, 5, 6, 2, 2, 2, 0, 0, 0を1つのグループとして平均値で代表すると誤差二乗和（平均からのずれの二乗の合計）は50.5になるが、{0,0,0} {2,2,2,2} {5} {6,6} の4つに分ければ0になる。

分かっていないこと：このサイトでは論文の最初の2ページ（p.236-237）を確かめた。流れ図と数値例の詳しい中身（p.238以降）は読んでいない。

隠れマルコフモデル ── 1966年、バウムとペトリーが、見えない状態が移り変わり、そこから記号が出てくるモデルの数学を作る

プリンストンの国防分析研究所（Institute for Defense Analyses）のレナード・E・バウムとテッド・ペトリーは、ある確率モデルを考えた。外から見えない状態がマルコフ連鎖（次の状態が現在の状態だけで確率的に決まる移り変わり）で動き、状態ごとに確率的に記号が出てくる、というモデルである。彼らはこれをマルコフ連鎖の確率的な関数と呼んだ。そして、観測された記号の列Y1, …, YTだけから状態の遷移確率の表Aと記号の出力確率の表Bを推定できること、データが増えると最尤推定（そのデータが最も出やすくなる値を選ぶ推定）が正しい値に近づくことを証明した。これが現在の隠れマルコフモデル（HMM）の数学的な始まりの1つである。1970年には同じグループ（ペトリー、ソウルズ、ワイスと）が、尤度を少しずつ高める反復計算を示した。デンプスターらは1977年に、これがEMアルゴリズムの特殊な場合だったと書いている。

分かっていないこと：隠れマルコフモデル（hidden Markov model）という呼び名を最初に使った人物や年は、このサイトでは確かめていない。国防分析研究所でこの研究が何の目的で行われたかも、資料には書かれていない。

隠れマルコフモデルで音声認識 ──1975年のベイカー、1976年のIBMのジェリネックが使い始め、1989年のラビナーの解説で広く知られる

同じ言葉でも、話し声は人や話す速さで変化する。1975年、J・ベイカーは音声理解システムDRAGONで、言語のさまざまな知識をマルコフ過程の確率的な関数（現在の隠れマルコフモデル。見えない状態が確率で移り変わり、各状態から音の特徴が確率で出力されるモデル）という1つの形式で表した。1976年にはIBMトーマス・J・ワトソン研究センターのF・ジェリネックが、連続音声を統計的手法で認識する論文を発表した。ただ、この手法が音声の研究で広く理解され使われるようになったのは、ラビナーが1988年に原稿を書いた時点から見て、ここ数年のことだった。1989年にAT&Tベル研究所のローレンス・R・ラビナーが、理論と音声認識への応用を1本の解説にまとめた。その解説の実験では、話す人を問わない1語ずつの数字認識で、隠れマルコフモデルの誤り率は従来のパターンマッチング（話す速さの違いを動的計画法でそろえてから、覚えた声の型と比べるDTWという手法）と同程度だった。この型合わせの考え方は、日本でも1971年に日本電気の迫江博昭・千葉成美がDPマッチングとして発表していた（このサイトの別の出来事）。

分かっていないこと：ラビナー1989も、音の観測が互いに独立という仮定やマルコフ性の仮定は、実際の音声には合わない面があると指摘している。それにもかかわらずうまく機能した理由は、この解説の中では明確に説明されていない。

赤池情報量規準AIC ── 1971年に赤池弘次が発表し1973年に論文に。データへの当てはまりとパラメータ数への罰を1つに統合

AICは、複数の統計モデルの候補からどれを使うかを決めるための基準である。AIC＝（−2）×（最大対数尤度）＋2 ×（パラメータの数）で計算し、値が小さいモデルほど良いと判断する。第1項はデータへの当てはまりの良さ（当てはまるほど値が小さくなる）を示し、第2項は調整できるパラメータ数を増やしすぎることへの罰則にあたる。統計数理研究所の赤池弘次は1968年、セメントの回転窯（ロータリーキルン）の動きを時系列モデルで表す研究で、過去の値をいくつ使うか（次数）を決める問題に直面し、予測誤差の期待値（FPE）を考えた。1981年の回想によると、1971年3月16日の朝、通勤電車で席に座ったとき、最大尤度とカルバック・ライブラー情報量の結びつきに突然気づいたという。2006年の京都賞記念講演では「AICについての最初の発表は、1971年の日本統計学会での報告です」と語った。続けて、同じ年にアルメニアで開かれた第2回情報理論国際シンポジウムで詳しく発表し、1973年に会議録として出て、1974年に米国のIEEEの自動制御の雑誌に解説を出した、と振り返っている。

分かっていないこと：AICは初めから受け入れられたわけではない。赤池さんは2006年の講演で、応用の分野からは積極的な反応があったが「正統的な統計学の分野からの反応は消極的でした」と話した。1981年の回想でも、まだ専門の統計学者に十分受け入れられていないと書いている。またAICは、パラメータと分布が1対1に対応する正則モデルを前提にしている。そのため、ニューラルネットワークのような学習機械でどう使えるかは、のちの研究（渡辺澄夫のWAICなど）につながった。

交差検証 ── 1974年、ストーンが、データを分けて確かめるやり方で予測の方法を選び、評価する論文。考え自体は1930年代からあった

交差検証（クロスバリデーション）は、手元のデータを学習用と検証用に分け、分け方を変えながら繰り返し確かめて、成績の平均から予測手法を選ぶ方法である。1つずつ抜く方式では、n個のデータから1個を除き、残りのn − 1個でモデルを作り、除いた1個でテストすることをn通り繰り返す。ストーン（M. Stone、University College London）は、1973年12月5日に王立統計学会で発表し、1974年のJournal of the Royal Statistical Society, Series Bに掲載された論文『Cross-validatory Choice and Assessment of Statistical Predictions』で、この基準を、予測手法の選択とその評価を一体にした形で使うことを提案した。そして、1つの標本からの推定・重回帰・分散分析の例で示した。

分かっていないこと：1977年にストーンは、1つずつ抜く交差検証と赤池のAICが、データが多いと同じように振る舞う（漸近的に同等）ことを示した（2010年の渡辺の論文の紹介による）。ただしこれはパラメータと確率分布が1対1に対応する正則なモデルの話である。ニューラルネットワークのような特異なモデルでどうなるかは、2010年の渡辺の論文まで分かっていなかった。

WAIC ── 2010年、渡辺澄夫が、ニューラルネットワークなどにも使える情報量規準と、1つ抜き交差検証が同じ値に近づくことを証明

WAIC（widely applicable information criterion、広く使える情報量規準）は、渡辺澄夫（論文の所属はTokyo Institute of TechnologyのPrecision and Intelligence Laboratory）が考案した、ベイズ推定モデルの汎化損失（未知のデータに対する予測の誤差）を見積もる基準である。AICは、パラメータと確率分布が1対1に対応する正則モデルを前提としている。しかし、ニューラルネットワーク・混合正規分布・隠れマルコフモデル・ボルツマンマシンなど多くの学習機械は、この前提が成り立たない特異モデルである。渡辺さんは2010年12月のJournal of Machine Learning Researchの論文で、こうした特異モデルでも、ベイズの1つ抜き交差検証の損失とWAICが、データ数が多いときに同じ値に近づく（漸近的に同等になる）ことを証明した。正則モデルでは、1つ抜き交差検証がAICと漸近的に同等であることが、1977年のストーンの論文などで知られていた。

EMアルゴリズム ── 1977年、デンプスター・レアード・ルービンが、一部が見えないデータから学習する手法を一般の形にまとめて命名

ハーバード大学とEducational Testing ServiceのA・P・デンプスター、N・M・レアード、D・B・ルービンは、データの一部が見えない（欠けている）ときに、最も確からしいパラメータ（モデルの中の数）を推定する一般の手法を示した。Eステップ（expectation：期待値）では、今のパラメータを使って、見えない部分の値の期待値を計算する。Mステップ（maximization：最大化）では、埋めたデータを使って、パラメータを最も確からしい値に計算し直す。これらを交互に繰り返すため、EMアルゴリズムと名づけた。繰り返すたびに、データの尤度（そのパラメータでそのデータが出る確からしさ）は下がらないことを証明した。欠けた値のあるデータ、いくつかの山が混ざった分布（混合分布）、因子分析など、多くの例がこの形に入ることも示した。最初の例は、197匹の動物が遺伝の仕組みで4つの種類に分かれるデータ（ラオの1965年の本にある例）だった。

大津の二値化 ── 1979年、大津展之が、濃淡画像を白と黒に分ける境目を、2つの組が一番よく分かれる所として自動で決める方法を発表

大津展之（1979年の英語論文の所属はElectrotechnical Laboratory, Tokyo）は、白黒の濃淡画像から文字や物を背景と分けるときの境目の明るさ（しきい値）を、自動で決める方法を示した。明るさの度数分布（ヒストグラム）をある明るさkで2つの組に分けたとき、組と組の間のばらつき（クラス間分散）が一番大きくなるkを選ぶ。これは判別分析（2つの組をうまく分ける物差しを求める統計の方法）の考えで、組の中のばらつき（クラス内分散）を一番小さくすることと同じになる。計算にはヒストグラムの0次と1次の累積モーメント（その明るさまでの画素の割合と、明るさの合計）だけを使うので、とても簡単に計算できる。正解を与えずに決める、教師なしの方法である。1980年の日本語論文の要旨は、元の濃淡画像をいくつかの値で近似したときの最小2乗の意味でも最適で、3つ以上に分ける場合にも容易に拡張できる、と書いている。論文の例は、新しいリボンと古いリボンで打ったタイプライターの文字A、布の模様、細胞の画像（背景・細胞質・核の3つに分ける）だった。

分かっていないこと：英語の論文は、評価関数が常に山が1つ（単峰）であることの厳密な証明はまだ得られていない、と書いている（実験では常に滑らかで単峰だった）。

ベイジアンネットワーク ── 1985年、パールが原因と結果のつながりを矢印のグラフと条件付き確率で表す手法を命名（着想は1982年から）

カリフォルニア大学ロサンゼルス校（UCLA）のジューディア・パールは、多くの命題や変数を点、直接の依存関係を矢印で結び、強さを条件付き確率（AのときにBが起きる確率）で表したグラフをベイジアンネットワークと呼んだ。新しい証拠（例：検査の結果）が得られると、それぞれの点が隣とだけ短い知らせをやりとりし、全体の確率（どれくらい信じるか）を正しく更新する。こうすれば、確率の計算規則を守ったまま、多くの手がかりから推論できる。1982年のAAAIの論文でパールは、多くのAI研究者が、不確実な推論の計算モデルは確率の規則を少なくとも一部は曲げなければならないという神話を受け入れ、場当たりの規則を使っていると書いた。そして木の形のネットワークなら、確率の規則どおりに1回のやりとりで全体を更新できることを示した。1985年の報告は、この仕組みを人の記憶と推論のモデルとして、認知科学の大会に発表したものだった。

分かっていないこと：パール自身が要旨で、局所的な知らせのやりとりだけで正しく全体を更新できるのは、どの2点の間にも道が1本しかないネットワークに限られると書いている。道が何本もあるネットワークでの計算は、この報告では方針を論じるにとどまった。

決定木 ── 1986年、クインランがID3を論文にまとめる。源流は1966年のハントらのCLSと、1963年からの統計的な木の2つの流れ

決定木は、天気は何か、湿度は高いか、のような質問を枝分かれの形に並べる分類手法である。回答に合わせて枝をたどり、葉に到達したところで結果（クラス）を出力する。ID3は、どの質問を先にするかを次のように決めて木を作る。質問によってデータを分けたときに得られる情報量（情報利得。ビットで計測）が最も大きいものを選び、分かれた先でも同じ処理を繰り返す。クインラン（J. R. Quinlan、New South Wales Institute of Technology）は1986年の論文『Induction of Decision Trees』で具体例を計算した。土曜の朝14回分の気象条件（天気・気温・湿度・風と、PかNの2つのクラス）を使い、天気で分けると0.246ビットの情報が得られて最大になるため、木の根は天気になることを示した。論文によると、この一連の手法のルーツはハントたちのCLS（1966年の本）である。ID3（1979年）は、ミッキー（Donald Michie）が出題した、チェスの終盤（キングとルーク対キングとナイト）の局面を形の特徴だけから識別する課題に取り組む中で開発された。

TD学習 ── 1988年、サットンが、最後の結果を待たずに次の予測との誤差から学ぶ方法を理論としてまとめる

GTE研究所のリチャード・サットンは、未来の予測を経験から学習する方法として、TD法（temporal-difference：時間的差分学習法）を理論的にまとめた。通常の教師あり学習は、予測と最終的な結果との誤差を使って予測を修正する。一方、TD法は「今日の予測」と「明日の予測」の誤差を使って今日の予測を修正する。論文では天気予報の人を例に挙げている。土曜に雨が降るかを毎日予測し、月曜に50%、火曜に75%と予測したとする。TD法は、土曜の結果を待たずに、月曜のような日の予測を上げる。サットンは、こうすると毎日少しずつ計算でき、記憶も少なくてすみ、多くの場合より正確な予測になると論じた。そして、特別な場合について収束性と最適性を証明した。検証例として、中央のDから左右に1歩ずつランダムに進み、左端のAか右端のGに着くと終了するランダムウォーク問題で、各地点からGに到達する確率を学習させた。

分かっていないこと：サットンは、当時教師あり学習が使われていた問題のほとんどは、実はTD法が有利に使える予測問題だと論じている（1988年の見通し）。この見通しがどこまで当てはまったかは、このサイトでは確かめていない。

Q学習 ── 1989年、ワトキンスが動物の最適な行動の学習を考える博士論文で示す（詳細な証明は1992年）

クリストファー・ワトキンスは、King's Collegeの博士論文Learning from Delayed Rewards（遅れて来る報酬から学ぶ。1989年5月）で、動物が経験からどう最適な行動を学習できるかという問いを立てた。行動生態学では、動物の最適行動を動的計画法（先の結果まで全部見通して最もよい行動を計算する方法）で導くが、動物がその計算をしているとは考えにくい。そこでワトキンスは、状態xで行動aを取ったときの行動価値Q(x, a)を、試行ごとに得た報酬rと次状態で最大のQ値を使って少しずつ更新する、1ステップQ学習を示した。環境のモデルがなくても、すべての状態で全行動を何度も試せば最適行動の価値に近づくことを付録で証明した。1992年にワトキンスとダヤンが、この証明を詳細に書いた短い論文を学術誌に発表した。

分かっていないこと：博士論文の序文によれば、サットンがQ学習の難しい点を指摘したという。それが何だったかは、このサイトでは確かめていない。

profit sharingの理論 ── 1994年、東京工業大学の宮崎和光・山村雅幸・小林重信が、報酬をまとめて配る強化学習がむだな行動を学習しない条件を証明し、人工知能学会の論文賞を受ける

強化学習（報酬を手がかりに、試しながら行動のしかたを学習する手法）には、1歩ごとに行動の価値を更新するTD法やQ学習と、報酬が得られた際にそれまでの一連の行動（エピソード）をまとめて強化するprofit sharing法がある。宮崎和光・山村雅幸・小林重信は、profit sharing法において、報酬から何歩前の行動にどれだけ配分するか（強化関数）を数学的に解析した。その結果、遠回りになる無効なルール（行動）を学習しないための必要十分条件（無効ルール抑制定理）を証明し、同じ条件で報酬を得続けられる行動方針を学習できることも示した。論文では、環境の正確な理解に膨大な試行が必要なQ学習に対し、profit sharing法は学習に必要な試行がはるかに少ないと比較している。この論文は1994年度の人工知能学会論文賞を受賞した。

分かっていないこと：この条件が、その後の実際のロボットや応用でどこまで使われたかは、このサイトでは確かめていない。

ブースティング ── 1990年、シャピーアが弱学習は強学習に変えられると証明し、1995年にフロイントとシャピーアがAdaBoostを発表

ブースティングは、当てずっぽうより少しだけ良い弱分類器を何回も作り、前の回で間違えたデータほど重みを大きくして学習させ、最後に重み付き多数決でまとめて強分類器を作る手法である。起源は計算理論の問いだった。ケアンズ（Kearns）とヴァリアント（Valiant）は、当てずっぽうよりわずかに良いだけの弱学習と、いくらでも正しくできる強学習が、同じ力を持つかどうかを未解決問題（仮説ブースティング問題）として残した。シャピーア（R. E. Schapire、MIT Laboratory for Computer Science）は1990年の論文『The Strength of Weak Learnability』で、2つは同じだと証明し、弱学習の方法を強学習の方法に変える作り方を示した。フロイント（Y. Freund）とシャピーアは1995年3月にバルセロナの学会でAdaBoostを発表した（1997年に学術雑誌で論文発表）。名前は、それまでの方法と違い、弱分類器の誤りに合わせて適応的に（adaptively）重みを変えることから来ている、と論文に書いた。論文は、競馬で負けが続く人が友人の実績に応じて賭け金を配分し直すたとえ話から始まっている。

分かっていないこと：訓練誤り率が0になっても、テスト誤り率が下がり続けるのはなぜか。シャピーアの2013年の解説は、余白（マージン）を使う説明が、過学習が起きない場合を説明できる唯一の理論だと書く。一方で、数の上の保証はとてもゆるい、とも書いている。

勾配ブースティング：1999年、フリードマンが、残差を小さな決定木で少しずつ埋めるブースティングを勾配降下として一般化

勾配ブースティングは、今のモデルの予測と正解の誤差（残差）を次の小さな決定木に予測させ、その木を少しだけ足すことを何回もくり返して、予測を少しずつよくしていく手法である。フリードマン（Jerome H. Friedman、Stanford University）は、1999年2月24日付けの論文『Greedy Function Approximation: A Gradient Boosting Machine』（IMS 1999 Reitz Lecture、2001年にThe Annals of Statisticsに掲載）を書いた。その中で、こうした足し算の積み重ねを、誤差の大きさ（損失）を関数の空間で最も急な方向に少しずつ下っていく計算（最急降下法）とみなした。二乗誤差を損失にすると、各回の木は今の残差をそのまま学習することになる。この手順は、絶対誤差やフーバー損失、分類のためのロジスティックの尤度など、他の損失にも適用できる。また、各回に足す量を学習率 ν で小さくする（縮小）と、よりよい結果になることが多い、とも書いている。

カーネルを使うサポートベクターマシン ── 1992年、ボーザー・ギヨン・バプニクが、マージン最大化を曲がった境界にも使える形で発表

サポートベクターマシン（SVM）は、2つのクラスを分ける境界を、境界に最も近い点までの距離（マージン、余白）が最大になるように引く方法。ボーザー（B. E. Boser、University of California, Berkeley。研究の一部はAT&T Bell Laboratoriesで）・ギヨン（I. M. Guyon）・バプニク（V. N. Vapnik、ふたりはAT&T Bell Laboratories）は、1992年7月の学会COLT '92の論文『A Training Algorithm for Optimal Margin Classifiers』で、この問題を、点どうしの類似度を測る関数（カーネル）K(x, x')だけを使う形（双対形式）に書き換えて解いた。こうすると、多項式や動径基底関数のような曲がった境界でも、同じ計算でマージンを最大にできる。境界は、境界に最も近い少数の訓練データ（論文の言葉ではsupporting patterns）だけで決まる。実際の郵便物から取った手書き数字（訓練7300枚・テスト2000枚）では、4次の多項式カーネルで誤り率が4.9%になり、同じデータで報告されていた5層のニューラルネットワークの5.1%をわずかに下回った。

ランダムフォレスト ── 2001年、ブレイマンが、ランダムに少しずつ変えた多数の決定木の多数決をまとめる。1995年にはホーのrandom decision forestsがあった

ランダムフォレストは、多数の決定木を少しずつ異なる条件で育て、多数決で予測を決める手法。各決定木は訓練データからランダムに選んだ例で育て、分岐ごとにランダムに選んだ一部の特徴から最適な分け方を選ぶ。ブレイマン（Leo Breiman、University of California, Berkeleyの統計学科）は2001年の論文『Random Forests』で、木を増やすと大数の強法則により誤り率は一定値に収束するので、過学習は問題にならないと書いた。また、森の誤り率は個々の木の強さと木同士の相関で決まることを示した。ランダムに選ばれなかった約3分の1の例（out-of-bag）を使えば、別のテストデータや交差検証なしで誤り率を見積もれる。1995年、ホー（Tin Kam Ho、AT&T Bell Laboratories）は『Random Decision Forests』で、特徴からランダムに選んだ一部を使う木を束ねると、手書き数字の認識で、訓練データと初めて見るデータの両方で正しさが上がることを示していた。

特異値分解 ── 1873年にベルトラミ、1874年にジョルダンが、どんな行列も、回す・伸び縮みさせる・回す、の3つに分けられることを示す

特異値分解（SVD）とは、どんな行列（数を縦横に並べた表で、ベクトルの変換を表す）も、向きを変える（回す）→ 軸ごとに伸び縮みさせる → もう一度回す、という3つのかけ算に分けられる事実である。この伸び縮みの倍率を特異値という。大きい特異値だけを残すと元の表を少ない数でよく近似できるため、好みの予測（おすすめ機能）や主成分分析の計算に使われる。この分解を1873年に最初に発表したのはエウジェニオ・ベルトラミで、イタリアの大学生向けの数学雑誌に掲載された。ベルトラミは冒頭で、若い読者がこの種の代数の計算に親しむきっかけにしたいという意味のことを書いている。翌1874年にはカミーユ・ジョルダンが別に、より完全な形で同じ分解を示した。

分かっていないこと：特異値（singular value）という用語がいつ現在の意味に定着したかは、スチュワート1992によれば20世紀前半には揺らぎがあったとされる。このサイトでは元の資料を追っていない。

低い階数の最良近似 ── 1936年、エッカートとヤングが因子分析との関連で解く（1907年のシュミットの定理の再発見）

シカゴ大学のカール・エッカートとゲイル・ヤングは、行列をそれより階数（互いに独立な方向の数）の低い行列で、二乗誤差の和が最小になるように近似する問題を解いた。論文の要旨によれば、行列をあらかじめ標準形（現在の特異値分解）に直すと解きやすくなる。解は常に存在し、通常はただ1つに定まる。その解は、特異値分解で小さい特異値を0にしたものになる（スチュワート1992の説明）。要旨では、この問題がテストの得点表を少数の因子で説明する因子分析の基本概念と深く関わると述べている。この論文は、この年に創刊された心理測定の学術誌Psychometrika第1巻に掲載された。

分かっていないこと：エッカートとヤングがシュミットの1907年の研究を知っていたかは、このサイトでは確かめていない（本文を開いていない）。

映画の好みを当てる賞金100万ドルの大会「Netflix Prize」（2006〜2009年）：優勝は20分の差

2006年10月、映画のDVDを貸し出していたNetflixは大会を開催した。自社の推薦システム（Cinematch）より10%正確に映画の評価を予測できれば賞金100万ドルを授与するという内容だった。名前を番号に置き換えた約48万人による、約1万8000本の映画への1億件を超える評価（1〜5の星）が配布された。約3年後の2009年9月21日、チームBellKor's Pragmatic Chaosが優勝した。2位のチームも同じ点数（誤差0.8567、10.06%の改善）だったが、提出時刻が約20分早かった側が勝者となった（同点なら先着順という規定による）。

好みの表の分解 ── 2006年、サイモン・ファンクが、Netflix Prizeで使った、空欄だらけの表を分かっている所だけで学習する方法をブログで公開

映画の好みを予測する大会Netflix Prizeに参加していたサイモン・ファンクは、2006年12月11日、自身の手法（その時点で3位タイ）をブログですべて公開した。提供されたデータは約50万人が約1万7000本の映画につけた1億件の評価で、ユーザー×映画の行列にすると約85億要素のうち84億要素が欠損していた。ファンクは、ユーザーの好みと映画の特徴をそれぞれ40次元のベクトルで表し、その内積で評価値を予測した（パラメータ数は約2000万個で、元の行列の400分の1）。これは特異値分解（SVD）で上位40個の特異値を残す近似と同じ形だが、本来のSVDは欠損値があると計算できない。そこで、既知の評価値についてのみ予測の誤差を求め、誤差が小さくなる向きにパラメータを少しずつ直すことを繰り返した（勾配降下法。学習率は0.001）。本人はこれを手直ししたSVDと呼んでいる。

分かっていないこと：ファンクより前に、同じように欠損値のある行列を分解して好みを予測する手法を誰が考案していたかは、このサイトでは確かめていない。

Amazonが、コンピュータから人に小さな仕事を頼める「メカニカル・ターク」を開始（「人工の人工知能」）

Amazonは、プログラムが人間に小さな作業を依頼して結果を受け取る仕組み「Amazon Mechanical Turk」を発表した。発表文は、コンピュータが多くの人に作業を行わせてその結果を使うことを「人工の人工知能（Artificial Artificial Intelligence）」と呼んでいる。のちに2009年のImageNetで、写真が本当にその物を写しているかを確かめる作業に使われた。ImageNetの論文は、作業者が報酬を得る場として説明している。

プリンストン大学のフェイフェイ・リーらが、名前つきの写真を何百万枚も集めたImageNetを発表。確かめたのはネットで仕事を受けた人たち

リーらは、概念を階層構造で整理した辞書WordNetを土台に、約8万の名詞のまとまりごとに平均500〜1000枚の写真を集めるImageNetを発表した（論文の例では「ビルマ猫」）。発表時点で12の分野、5247のカテゴリー、320万枚に達していた。画像は検索エンジンで収集し、対象の物体が正しく写っているかを、Amazonメカニカル・タークでお金をもらって仕事を受けた世界中の作業者が1枚ずつ確かめ、何人もの投票で決めた。

分かっていないこと：作業者の人数や居住国、報酬の金額については、この論文には記載されていない（未確認）。

グーグルの研究者3人が「データの不合理なほどの有効性」を発表：とてもきれいな理論を目指すのをやめ、データを味方にせよ

グーグルのハレヴィ、ノーヴィグ、ペレイラは、言葉を扱う機械学習で最も成功したのは統計的音声認識と統計的機械翻訳だと書いた。翻訳（音声の書き取りも同じ）は人の本当の必要のために毎日ふつうに行われていて、自動化したい「入力と出力のふるまい」の大きな訓練データが世の中にそのままあるからだという。彼らは、2006年にグーグルが1兆語の文のデータ（5語までの並びの回数）を公開したことにも触れた。そして「いつも、単純な仕組みと大量のデータが、少ないデータにもとづくより手のこんだ仕組みに勝つ」と述べ、結びの段落で「データに従え」と書いた。

NVIDIAが、画像を描くためのGPUを、ほかの計算にも使える仕組みCUDAを発表

ゲームの画像を描くためのGPU（画像処理用の半導体）には、同じ計算を多数の小さな計算の芯（コア）で同時に行う力がある（GeForce 8800 GTXでは最大128個）。NVIDIAはGeForce 8800とともに、GPUを通常のプログラミング言語（C言語）で画像処理以外の計算にも使える仕組み「CUDA」を発表した。これがのちに、ニューラルネットワークを高速に学習させる道具になった（2009年のスタンフォードの論文や、2012年の画像認識コンテストの優勝チームもGPUを使った）。

スタンフォードのエンらが、GPUでニューラルネットワークの学習が最大70倍高速化すると示す

ライナ、マダバン、エンは、教師なし学習を行う深いネットワークを、ゲーム用のGPU（NVIDIA GeForce GTX 280）で学習させた。通常のCPU（2コア）より最大70倍速く、1億個の数を持つ4層のネットワークの学習を「数週間」から「約1日」に短縮した。論文は、大規模データの学習が重要なのに、計算が遅く小さな実験にとどまる問題を指摘した。

グーグルで、大規模なニューラルネットワークを試すチーム「Google Brain」が始動

グーグルの一部門X（ページの下に『X, a division of Google LLC』、題は『Brain - A Google X Moonshot』）の公式ページによると、Google Brainチームは2011年に活動を始め、2012年の終わりにXからグーグルへ移った。2011年12月には、グーグルとスタンフォード大学の研究者が、ラベルのないYouTubeの画像から学習させる論文（のちの、グーグルの猫の論文）の初版を公開した。2012年の論文では、何千台ものコンピュータで1つの大規模なニューラルネットワークを学習させる仕組みDistBeliefを発表し、従来の報告より30倍大きいネットワークを学習させ、商用の音声認識の学習も高速化したと報告した。2023年4月、グーグルはこのチームとDeepMindを統合してGoogle DeepMindにすると発表した。

深層学習のAIは、画像より先に「音声の聞き取り」で成果を出していた（2009〜2012年）

ディープラーニング（深層学習：何層にも重ねたニューラルネットワークで学習するAIの仕組み）は、2009年ごろから音声の聞き取り（音声認識）で、それまで長く使われてきた統計の手法（GMM）を上回り始めた。2012年、トロント大学・マイクロソフト研究所・Google・IBMの4つの研究グループが『共通の見方』として論文をまとめ、会話の書き起こし試験で、誤った単語の割合を27.4%から18.5%に（約3分の1）減らした結果などを示した。Googleは2012年8月6日のブログで、Androidの新版では電話に話しかけると『たぶん、あなたは声を聞き取るように学習したニューラルネットワークと話している』と書いた。

分かっていないこと：4グループの論文は、振り返ると成果の大部分は『前後の音の区切り（フレーム）の情報を活かすこと』と『前後の音によって分け、似た物をまとめた音の状態を当てること』から来たと書く。一方で『今使っている部品（隠れた層の単位）の種類や組み立て方が一番よいと考える理由は無い』とも書く（pdf 13枚目）。なぜ深いニューラルネットワークの方がよいのかの説明は、当時まだ途上だった。

日本の国の研究機関NICTが、話すと訳して声で返すスマートフォンのアプリ「VoiceTra」を世界に公開

2010年の夏、日本の国の研究機関NICT（情報通信研究機構）は、音声翻訳アプリVoiceTraと、文字を訳すアプリTexTraを、App Storeで世界に無料で公開した。VoiceTraは、iPhoneに話しかけると別の言葉に訳して声で返す。訳す計算はiPhoneではなくサーバーで行う。声で使えたのは日本語・北京語・英語・インドネシア語・ベトナム語（マレー語は準備中）。対象は旅行の会話で、NICTは音声翻訳の力を『おおよそTOEIC 600点の語学力を持った人に相当』と説明した。公開の目的は、性能の評価と使いやすさの調査だった。NICTの2015年の発表によると、この技術は成田国際空港のアプリなど実際のサービスにも使われた。さらに総務省の「グローバルコミュニケーション計画」（2014年4月。2020年までに訪日外国人が言葉で困らない社会を目指す）の中心のアプリになった。

アップルがiPhone 4Sに、話しかけると用事を手伝う「Siri」をのせて発表（最初は『試しの版』）

2011年10月4日、アップルはiPhone 4Sとともに、声で頼むと用事を手伝う「知的なアシスタント」Siriを発表した。発表文の例では、「今週末、傘はいる？」と尋ねると天気予報を探していると理解する。最初は『ベータ（試しの版）』で、対応言語は英語（アメリカ・イギリス・オーストラリア向け）・フランス語・ドイツ語だけだった。日本ではiPhone 4Sが10月14日に発売されたが、日本語対応のSiriは2012年3月8日からだった。Siriのもとは、アメリカ国防総省の研究機関DARPAの計画PALでSRI Internationalが進めた研究CALOである。2007年に会社として独立し、2010年4月にアップルがその会社を買収した（SRIとDARPAの説明）。

NTTドコモが音声対話サービス『しゃべってコンシェル』を開始（2012年3月、日本語版Siriの1週間前）

2012年3月1日、NTTドコモは、スマートフォンに話しかけるだけで情報を調べたり、メールやアラームなどを操作したりできる『音声エージェント機能』しゃべってコンシェルを、ドコモのAndroidスマートフォン向け無料アプリとして開始した。言葉の組み合わせから発話者の『意図』を読み取り、適切なサービスや回答を選ぶ仕組みである。音声認識などの複雑な処理は端末ではなく、ドコモのネットワーク側（クラウド）で行った。ドコモは、2011年11月に試験提供を始めた『通訳電話』に続くクラウド活用サービスと説明した。日本語版Siriの提供開始は、その1週間後の3月8日だった。

IBMの質問応答AI「Watson」、米クイズ番組Jeopardy!で歴代王者2人に勝利

2011年2月、IBMの研究チームが開発した質問応答システム（自然な言葉の問題文を読んで答えを返すプログラム）Watsonが、米国のテレビクイズ番組Jeopardy!で歴代のチャンピオン2人と2試合を戦った。最終得点はWatsonが77,147ドル、ケン・ジェニングスさんが24,000ドル、ブラッド・ラッターさんが21,600ドルだった（IBMの歴史のページ）。Watsonはインターネットに接続せず、多数の手法で答えの候補を出して証拠を集め、機械学習（データから学習する仕組み）でまとめた『自信の度合い』が十分なときだけ早押しボタンを押した。1試合目の最終問題では、米国の都市を問う問題に『トロント』と答えて間違えている。

ReLU（負なら0、正ならそのまま）が深層学習の標準になるまで：2010年に命名、2011〜2012年に普及。同じ形は1968年の福島邦彦のモデルにある

ReLU（rectified linear unit）は、入力xが0より大きければそのまま出力し、0以下なら0を出力するユニット（ニューロン）で、式ではmax(0, x)。シグモイド（S字の関数）やtanhは入力が大きいと傾きがほぼ0になる（飽和する）が、ReLUは正の値なら傾きが常に1なので、誤差逆伝播法で後ろへ戻す信号が弱まりにくい。2010年、トロント大学のネアとヒントンは、制限ボルツマンマシンの0か1の隠れ層のユニットを、同じ重みで少しずつずらしたユニットをたくさん並べたものに置き換えると、その働きをノイズ付きのrectified linear unitsで近似できると示した。物の写真や顔の認識で成績が良くなったとも報告した。2011年、モントリオール大学のグロロたちは、このユニットの方が本物の神経細胞のモデルとしても良く、ちょうど0の値が多い（スパースな）表現ができると書いた。また、ラベル付きデータが多ければ、事前の教師なし学習なしでも深いネットワークがよく学習できると書いた。2012年のAlexNetの論文は、ネアとヒントンにならってReLUと呼び、tanhを使った同じネットワークより何倍も速く学習できると書いた。

分かっていないこと：Rectified linearという呼び方を最初に使ったのが2010年の論文かどうかは確かめていない（2009年のジャレットたちはpositive partと呼んでいた、と2010年の論文が書く）。福島の1969年の英語の論文（IEEE）は有料で本文を開いていない。2009年のジャレットたちの論文も開いていない。

重みの初期値の決め方：層のニューロン数で幅をそろえる（グロロとベンジオ2010）と、ReLU用の決め方（ヒーたち2015）

深いネットワークを学習させる前に、重みにどんな値を入れておくか（初期化）で、学習できるかどうかが大きく変わる。層を通るたびに信号が一定の割合で大きくなったり小さくなったりすると、何層も重ねるうちに、逆伝播する勾配が消失したり発散したりするからだ。2010年、モントリオール大学のグロロとベンジオは、よく使われていた、前の層のニューロン数nから±1/√nの範囲で選ぶやり方では、逆伝播する信号のばらつき（分散）が層によって小さくなっていくことを示した。そして、層の入力側と出力側のニューロン数njとnj+1を使って±√6/√(nj+nj+1)の範囲から一様に選ぶnormalized initializationを提案した。ねらいは、順伝播する値と逆伝播する信号のばらつきを、どの層でもほぼ同じに保つことだ。2015年、マイクロソフト・リサーチのKaiming Heたちは、この導き方はニューロンが線形（入力に比例して出す）という仮定の上にあってReLUには合わないと指摘した。そしてReLU用に、平均0・標準偏差√(2/n)の正規分布から選ぶ方法を提案した。30層のネットワークでも学習できたが、グロロとベンジオの方法では学習が止まってしまったと書いている。

分かっていないこと：Caffeの中でXavierという名前がいつ、誰によってつけられたかは確かめていない（Caffeの論文とプログラムの記録は開いていない）。2010年の論文がcommonly used heuristicと呼ぶ±1/√nのやり方を、誰がいつ始めたかは確かめていない。

ドロップアウト：学習のたびに隠れ層のニューロンをランダムに半分ずつ休ませ、過学習を防ぐ（2012年）

ドロップアウトは、学習時にデータを1つ見せるたびに、隠れ層のニューロンを決まった確率（よく使うのは0.5）でランダムに一時的に除外して（出力を0にして）学習させる手法である。特定のニューロン同士が依存し合う現象（co-adaptation）を防ぎ、訓練データだけに合いすぎて新しいデータで間違える過学習を抑える。使う時は全ニューロンを使い、出ていく重みを半分にする（2014年の論文では残す確率pを重みに掛ける）。すると、重みを共有したたくさんの細いネットワークの予測を平均したものに近い答えになる。2012年7月のarXiv論文（トロント大学のヒントン、スリヴァスタヴァ、クリジェフスキー、サツケバー、サラフトディノフ）は、手書き数字（MNIST）などで試し、音声と物体の認識で記録を更新したと書いた。同年のAlexNet論文でも全結合の2層に使い、使わないと過学習が深刻化したと書いている。

分かっていないこと：ドロップアウトを着想した時期や、ヒントン本人が後に語ったきっかけの話（いくつか語られている）は、元の談話を探していないため書いていない。

スイスのIDSIA、GPUで学習させた深い畳み込みニューラルネットワークで、交通標識の識別の誤り率が人の半分に（2012年の大会の8か月前）

スイスの研究所IDSIAのチレシャン、マイヤー、シュミットフーバーは、深層畳み込みニューラルネットワークを複数並べて出力を平均する手法（多列の深いネットワーク）を、ゲーム用のGPUで学習させた。ドイツの交通標識の識別（テストデータ1万2569枚）で誤り率0.54%を記録し、論文によると人間の誤り率はその倍だった。手書き数字のMNISTでも0.23%で、人間の約0.2%に初めて近づいた、と書いている。

Googleの猫の実験：ラベルなしのYouTubeの画像だけで学んだネットワークに、猫の顔に強く反応するニューロンができた

Googleとスタンフォード大学のル、エンらは、YouTubeの1000万本の動画から1枚ずつ取った画像（200×200画素）を、ラベルをつけずに見せて、10億の結合を持つ9層のニューラルネットワークに学習させた。1000台のコンピュータ（1万6000コア）で3日かかった。すると、教えていないのに人の顔に反応するニューロンができ、猫の顔や人の体に反応するものもできた。Googleはブログで、人工ニューロンの1つが「猫の絵に強く反応するように学んだ」と紹介し、このモデルは「猫が何かを一度も教えられていなかった」と念を押した。

分かっていないこと：論文は、学習したニューロンが何に反応するかを、反応が強い画像を並べたり、反応が強くなる画像を作ったりして調べている。内部の動作を調べる方法が、当時から工夫されていた。

画像認識コンペ（ILSVRC 2012）で、トロント大学の深層畳み込みニューラルネットワーク（SuperVision）が大差で1位。2位は東京大学のチーム

写真から1000種類の物体を識別する大会で、クリジェフスキー、サツケバー、ヒントンのチーム「SuperVision」は、5回まで回答できるルールでの誤り率を15.3%（大会が用意したデータのみなら16.4%）に抑えた。2位の東京大学のチーム（ISI）は26.2%で、約11ポイントの差がついた。6000万個のパラメータを持つ8層のニューラルネットワークを、ゲーム用のGPU（画像処理用の半導体、NVIDIA製）2基で学習させた。大会の主催者は後の論文で、この年を多様な物体を認識する研究の「転換点」と書いている。

画像認識大会の1位の「誤り率」は8年で28%から2%に。「人間は5.1%」は1人の測定

1000種類の物体を画像から識別する大会（5回まで回答できるルール）で、1位の誤り率は、2010年28.2%、2011年25.8%、2012年15.3%（用意されたデータだけなら16.4%）、2013年11.7%（外のデータも使うと11.2%）、2014年6.7%、2015年3.6%、2016年3.0%、2017年2.3%と下がった。主催者は人間の誤り率も測定した。それは2人（A1とA2）によるテストで、500枚で練習したA1が1500枚で5.1%、100枚だけ練習したA2が258枚で12.0%だった。

プロの棋譜から学習する将棋ソフトBonanzaが世界大会で優勝し、翌年、渡辺明竜王と公開対局

将棋ソフトBonanzaは、化学研究者の保木邦仁さんが開発し、2005年6月に無料公開した。それまでの多くの将棋ソフトと異なり、ルール上指せる手をすべて読む『全幅探索』を採用した。さらに、プロの棋譜と同じ手を指すように局面の評価のしかたを学習させる『機械学習』を取り入れた。作者は、化学反応を制御する研究の着想を局面評価の学習に応用したと述べている。2006年5月、初出場した第16回世界コンピュータ将棋選手権で、決勝8チームの総当たりを6勝1敗で優勝した。2007年3月21日には、渡辺明竜王と持ち時間2時間で公開対局を行った。中盤はBonanza優勢とも言われたが、112手で竜王が勝利した。のちに作り方（2009年にはプログラムの中身も）が公開され、ボンクラーズなどBonanzaをベースにした将棋ソフトが生まれた。

情報処理学会の将棋ソフト「あから2010」が、清水市代女流王将に勝つ

情報処理学会は2010年4月、「コンピュータ将棋でトッププロ棋士との公開対局を望むべく」（望んで、という意味）日本将棋連盟に挑戦状を送った。連盟の米長邦雄会長がこれを受け、最初の相手を女流棋士の第一人者である清水市代女流王将に決めた。10月11日、東京大学の本郷キャンパスで対局し、86手で清水女流王将が投了、あから2010が勝った。あから2010は、日本のトップ将棋プログラム4つ（激指・GPS将棋・Bonanza・YSS）に同じ局面を考えさせ、一番多く選ばれた手を指す「多数決」の仕組みで、208台のコンピュータ（コアは合計658個）を使った。

第1回将棋電王戦：米長邦雄永世棋聖が将棋ソフト「ボンクラーズ」に113手で敗れる

2012年1月14日、東京の将棋会館で、日本将棋連盟会長で引退棋士の米長邦雄永世棋聖と、富士通研究所の伊藤英紀が開発した将棋ソフト「ボンクラーズ」が対局し、ボンクラーズが113手で勝利した。ボンクラーズは、公開されていた将棋ソフトBonanzaをもとに、複数台のコンピュータで並列探索するように改良したもので、この日は6台のサーバーで1秒に約1800万手を読んだ。名前は、Bonanzaと、並列コンピュータ（複数台のコンピュータで同時に計算するシステム）を意味する「クラスタ」を組み合わせた造語である（富士通研究所の発表の説明）。

チェッカーが「解かれた」：双方が間違えなければ必ず引き分けとコンピュータで証明

アルバータ大学のシェーファーたちは、1989年からほぼ休まず何十台ものコンピュータを動かし続け、チェッカーは「両方が完ぺきに打てば引き分けになる」ことを証明した。チェッカーの盤面は約5×10²⁰（5垓）通りあり、それまでに解かれた有名なゲームで最も難しい。証明の中心となった道具の1つは、東京大学の長井歩の2002年の博士論文による探索手法（df-pn）である。論文の時点で北海道函館の大学に移っていた岸本章宏も、共著者に入っている。

プロ棋士と将棋ソフトの初対局はいつ？ 資料によって分かれる2005年・2007年・2013年

プロ棋士と将棋ソフトの『初めての』対局について、資料には3つの年が挙げられている。① 2005年9月のTACOSと橋本崇載五段の対局を、当時の新聞は作者の飯田弘之教授の話として『公開の場でプロがコンピューターと平手で対局するのは今回が初めて』と報じた。② 2007年3月のBonanzaと渡辺明竜王の対局について、研究者の解説は『プロとコンピューターが、公式の場で対戦したのは、初めて』と記し、2020年の取材記事は『プロ棋士として初めて公の場で』と書いた。③ 2013年の第2回将棋電王戦を、日本将棋連盟のコラム（2017年）は『初めて公式にプロ棋士がコンピュータ将棋ソフトと戦った』と表現した。『公開の場』『公式の場』『公式に』という言葉の違いにより、どれも『初めて』と言えてしまう。

日本将棋連盟、プロが公の場でソフトと対局する時は「あらかじめ主催者と連盟でご相談・ご確認」と決める

2005年9月18日、石川県小松市で、北陸先端科学技術大学院大学の飯田弘之教授たちが開発した将棋ソフト「TACOS（タコス）」と橋本崇載五段が、平手（ハンデなし）で公開対局した。勝ったのはプロだったが、終盤まではソフト有利だった（産経新聞）。約1か月後の10月14日、日本将棋連盟は「コンピュータ将棋ソフトと人間がきちんとした場で対局する環境をつくるため」として、棋士・女流棋士が公の場で将棋ソフトと対局する際は、事前に主催者と連盟で相談・確認すると発表した。同じ発表で「将棋ソフトの発展には、今後も今までどおり協力していきたい」とも述べている。

国立情報学研究所の「ロボットは東大に入れるか」（東ロボくん）始動。2016年までにセンター試験で高得点、2021年に東大入試突破が目標

国立情報学研究所は2011年、大学入試問題を解くコンピュータプログラムを開発する「人工頭脳プロジェクト」を始めた。目的は、1980年以降に細分化された人工知能研究を再統合することと、若い人に夢を与えることだった。具体的な指標として「2016年までに大学入試センター試験で高得点」「2021年に東京大学入試を突破」という目標を掲げた。

その後：2016年11月14日のNIIの発表では、センター試験の模試（5教科8科目）で525点（全国平均454.8点）、偏差値57.1を記録した。私立大学512大学1343学部、国公立大学23大学30学部で合格可能性80%以上にあたる成績である。東大入試の模試では数学（理系）で偏差値76.2（6問中4問を人の手を借りずに完答）を達成した。同日の報告会でのセンター試験への取り組みの扱いは、2016年の東ロボくんの出来事（→ 東ロボくん：2021年までに東大入試で合格点とい…）を参照。2021年に東大入試を突破したという発表は、このサイトでは見つかっていない。

予言：2010年に日本のロボット市場は約3兆円（2001年の業界団体の予測）──家や病院のロボット市場は実際は100億円に届かず

2001年、日本機械工業連合会と日本ロボット工業会の報告書は、ロボット市場を5つの分野で予測した。2010年に生活分野1.5兆円、製造業8,500億円、公共2,900億円、医療福祉2,600億円、バイオ900億円（合計約3兆円）、2025年に合計約8兆円とした。産業技術総合研究所の荒井裕彦の2009年の分析によると、この予測は経済産業省などが研究開発予算を説明する根拠に使われ、報道でも広まった。2005年の愛・地球博の発表でも『2010年には1.8兆円の市場規模が見込まれています』と記された。

その後：荒井裕彦の2009年の分析によると、製造業以外の次世代ロボットの市場は、工業会などの実態調査で年14〜68億円（100億円未満）にとどまり、2010年の予測（製造業以外で約2兆円）とは大きく離れていた。2006〜2008年には国の機関と工業会自身が、2010年の予測を500〜750億円に下方修正した。2015年、政府の『ロボット新戦略』は、ロボットの市場規模を『現在の6,000億円』とし、2020年に2兆4,000億円にする新しい目標を立てた（総務省の2015年の白書）。2025年の予測の答え合わせは、このサイトではしていない。