CHAPTER 08/1987〜2005

第2次ブームのあとの冬と、静かに育った芽

知識を書き込むAIがしぼむ陰で、データから学習するニューラルネットワークが育った時代(1987〜2005年)

専門家の知識を書き込むAIのビジネスがしぼみ、2回目のが来たと言われる時代。けれど同じころ、脳の神経のつながりをまねたニューラルネットワークでは、今につながる技術が次々に生まれていた。この章では、その仕組みを1つずつ動かして確かめる。

011984〜1996・アメリカ

冬の寒さを、数で測る

1984年に心配された冬は、本当に来たのか。

1984年8月、アメリカ人工知能学会(AAAI)の大会の討論会で、司会のマクダーモットはを描いた。5年ほどのうちに国防のが失敗し、新興企業が倒産して、AIへの資金が途絶える。この状態を一部でと呼ぶ、と紹介した。ただし本人は、起こる見込みは高くないと思う、とも述べた。

右の図は、その後のアメリカのデータだ。AAAIの会員数は1987年の16,421人を山に、1996年には4,000〜5,000人まで減った。Lispマシン(AI専用のコンピュータ)を開発したシンボリクスの製品売上は、1986〜1988年度に1億160万ドルから5,560万ドルへ下がった。単位の違う数も、山を100にそろえると比べられる。

そろえた値 = その年の数 ÷ 山の年の数 × 100
山
値がもっとも多かった年
知ってるつもりよく言われる話:1984年の討論はAIの冬を正確に予言した
元の資料では:司会はとして示し、起こる見込みは高くないと述べていた。筋書きの多くは実際に起きたが、5年後に一度に全部起きたわけではない。

図が示すこと:1984年に『最悪の筋書き』として語られたAIの冬は、5年後に一度に来たのではなく、会員数や売上が何年もかけて下がる形で来た。

021987〜2003・日本

日本には、冬が来なかった?

アメリカで冬と言われたころ、日本はどうだったか。

1991年3月、通商産業省が監修したは、日本はと記した。日本ではファジィ(あいまいさを扱う理論)が流行し、1990年には「ファジィ」が新語・流行語大賞の新語部門で金賞を受賞した。

白書の根拠の1つは1989年の調査だ。AIを導入した割合は、回答したコンピュータ利用事業所の26.2%、AIセンター会員の80.5%、全体で37.8%だった。しかし、調査票を送った7,084か所のうち、答えたのは1,844か所だった。右の図で、誰に聞いたかで割合がどう変わるかを見よう。

図を学会の会員に切りかえると、企業などの会員は1991・1992年の155社をピークに、2003年には49社まで減った。日本の冬は、遅れてゆっくり来たように見える。

答えた中の割合 = 入れた数 ÷ 答えた数
下限
答えなかった所がどこも入れていない、とした時の割合(入れた数 ÷ 送った数)
知ってるつもりよく言われる話:第2次ブームのあと、日本も世界と同時に冬を迎えた
元の資料では:1991年の国の監修の白書は、日本はアメリカのような冬を迎えていないと書いた。学会の企業会員が減り始めたのは、その後の1993年の報告からだった。

図が示すこと:1991年の白書は日本には冬が来なかったと書いたが、その根拠の割合は『だれに聞いたか』で大きく変わる。学会の会員数を見ると、日本の冬は遅れてゆっくり来たように見える。

031992〜1995・日本の国の計画

記号の計画から、学習の計画へ

第五世代のあと、日本の国の計画は何をめざしたか。

1995年、日本の国の3つの計画がそろって終わった。論理で推論するコンピュータをめざした第五世代、コンピュータ用の巨大な辞書を手作業で作った日本電子化辞書研究所(EDR、1986〜1995年)、あいまいさを扱うLIFE(1989〜1995年)だ。

その前の1992年、通商産業省は10年計画を始めていた。中心で進めた大津展之によると、第五世代がを追ったのに対し、RWCは、つまり画像や音声のようなあいまいな情報を、学習で柔軟に扱う技術をねらった。

右の図で「いまの年」を動かすと、その年に進んでいる計画のねらいが、記号からパターンと学習へ移っていく。

1年あたりの平均 = お金の合計 ÷ 年数
平均
毎年同額だったわけではなく、年数で割ってならした値

図が示すこと:第五世代(記号と論理)のあと、日本の国の計画のねらいは、画像や音声を学習で柔軟に扱う『パターンと学習』へ移った。

041982・ニューラルネットワーク

エネルギーの谷へ落ちるネットワーク

思い出すネットワークは、なぜ必ずどこかで落ち着くのか。

1982年4月、物理学者ホップフィールドは、+1か −1の値をとるニューロンをすべて結合したネットワークを発表した。結合の強さは双方向で同じ。ニューロンを1つずつ、まわりからの入力の合計の符号に合わせて更新する。

論文は、磁石の性質を調べる物理の考え方で、状態にエネルギーという数を定めた。ニューロンを1つ更新するたび、エネルギーは下がるか変わらない。だから、いつか必ず谷の底で止まる。覚えたパターンを谷の底にしておけば、崩れたパターンから始めても、近くの谷へ落ちて思い出す。

右の図の下のグラフで、エネルギーが一度も上がらないことを確かめよう。論文は、ニューロンの数Nの約0.15倍のパターンまで記憶できると書いた。

E= −½ Σi≠j wij si sj  si ← 符号(Σj wij sj)
si
ニューロンiの値(+1か −1)
wij
iとjの結合の強さ(双方向で同じ)
E
全体のエネルギー
知ってるつもりよく言われる話:連想記憶のネットワークはホップフィールドが1982年に初めて作った
元の資料では:本人の論文も先行研究として甘利俊一(1977・1978)などを挙げている。1972年には中野馨と甘利俊一が近い仕組みを発表していた(5章)。

図が示すこと:ニューロンを1つ更新するたびにエネルギーは下がるか変わらないので、ネットワークは必ず谷の底で止まる。覚えた形を谷の底にしておけば、崩れた形から思い出せる。

1つ更新するごとのエネルギー
051985・ニューラルネットワーク

確率で動くニューロン

浅い谷で止まってしまったら、どうするか。

ホップフィールド・ネットワークは下り坂しか進めない。1985年、アクリー、ヒントン、セイノフスキーのボルツマンマシンは、ニューロンが確率でオンとオフを選ぶので、ときどき上り坂にも進める。ランダムさを決めるのが温度 T。温度を少しずつ下げると、低いエネルギーに落ち着きやすい(物理の焼きなましと同じ考え)。

右の図で「焼きなまし(ゆっくり冷やす)」と「急に冷やす」を何回か押し、いちばん深い谷に着く回数を比べよう。

論文は、隠れニューロンを持つネットワークを学習させる規則も示した。データを見せて固定した時と、自由に動かした時で、2つのニューロンが同時にオンになる確率を比べ、その差で重みを直す。初めは計算に時間がかかり、あまり役立たなかった(ノーベル委員会の解説、2024)。

P(オン)=1/(1+e−ΔE/T)  Δwij ∝ p+ij − p−ij
ΔE
オンになると下がるエネルギー
T
温度
p+・p−
固定時・自由時に同時にオンになる確率
知ってるつもりよく言われる話:隠れ層を持つネットワークの学習は1986年の誤差逆伝播法から始まった
元の資料では:1985年のボルツマンマシンの論文が、隠れニューロンを持つネットワークの学習規則をすでに示していた。

図が示すこと:下り坂しか進めないと浅い谷で止まる。確率でときどき上り坂にも進めるボルツマンマシンは、温度を少しずつ下げると深い谷に着きやすい。

動かした時のエネルギー
061986・ニューラルネットワーク

2つの層の間だけをつなぐ

同じ層の中をつながないと、何が楽になるのか。

1986年、本『並列分散処理(PDP)』第1巻の第6章で、スモレンスキーはharmoniumというニューラルネットワークを提案した。ニューロンを見える層と隠れ層に分け、結合を層と層の間だけにした。脚注では、ボルツマンマシンのうち(訳)特別な場合、とも書いた。今は制限ボルツマンマシン(RBM)と呼ぶ。

同じ層の中に結合がないため、片方の層が決まれば、もう片方は一斉に計算できる。右の図の「1往復(上へ、下へ)」は、層ごとに同時に更新する。しま模様を学習したネットワークは、崩れた画像も何往復かで復元する。

2002年、ヒントンは1往復で学習させる高速な手法(対比発散法)を発表した(9章)。

P(hj=1|v)=σ(bj +Σi wij vi)
v
見える層
h
隠れ層
σ
値を0〜1に変換する関数
b
バイアス
知ってるつもりよく言われる話:制限ボルツマンマシンは、ヒントンが2000年代の深層学習のために作った
元の資料では:ヒントン本人が2002年の論文で、制限された型はスモレンスキー(1986)が出したと書いている。2000年代の仕事は、速く学習させる方法と、重ねて深いネットワークを作る方法だった。

図が示すこと:層の中をつながず、2つの層の間だけをつなぐと、片方が決まればもう片方を一斉に計算できる。

071967〜1986・学び方

誤差の坂を下る

重みの多いモデルを、どうやって少しずつ改善するのか。

学習する機械の誤差は、重みを決めると1つの数に決まる。重みを横と縦にとると、山や谷のある地形ができる。勾配降下法は、いちばん急に下る向き(勾配の反対)へ、少しずつ進んで誤差を減らす方法だ。

右の地形を押して玉を置き、下ってみよう。1歩(学習率η)が大きすぎると谷を飛び越え、さらに大きいと外へ飛び出す。「1つの例ごと」に計算すると、進む道はふらつくが1歩の計算が軽い(確率的勾配降下法)。

1967年、甘利俊一は、例を1つ見るたびに重みを少しずつ更新する学習法を理論で調べ、1968年の日本語の解説で「確率的降下法」と呼んだ。1986年の誤差逆伝播法も、この坂を下る考え方を使う。

w ← w − η ∂L/ ∂w
L
誤差の大きさ
∂L/ ∂w
wを少し動かしたときのLの変化(勾配)
η
学習率
知ってるつもりよく言われる話:隠れ層まで学習させる方法は1986年の誤差逆伝播法から
元の資料では:甘利本人(2025)と京都賞の紹介は、1967年の理論が隠れ層も含めて勾配で学習させる考えだったとする。1967年の論文の本文は、このサイトでは確認できていない。

図が示すこと:誤差を重みの地形にすると、学習とは一番急に下る向きへ少しずつ進むこと。1歩が大きすぎると谷を飛び越え、さらに大きいと外へ飛び出す。

更新回数と誤差の大きさ(縦は10倍ずつの目盛り)
081986・ニューラルネットワーク

誤差を、後ろから伝える

隠れ層の重みは、どう修正すればよいのか。

1986年10月、ラメルハート、ヒントン、ウィリアムズはNatureの論文で、入力と出力の間に隠れ層があるニューラルネットワークの学習法を示した。出力の誤差を、出力側から入力側へ順に戻しながら、隠れ層のニューロンに誤差を配分し、重みを少しずつ修正する(誤差逆伝播法)。

5章で1段のパーセプトロンが学習できなかったXORを、右の図のネットワークに学習させてみよう。隠れ層のニューロンがそれぞれ別の境界線(点線)を引き、線の間でXORを分類する。隠れ層のニューロンを1つに減らすと学習できない。

論文自身が(訳)と書いている。

δ出口 =(y − t)y(1 − y)  δj =δ出口 wj hj(1 − hj)
y・t
出力値と正解
hj・wj
隠れ層のニューロンjの値と出力への重み
δ
配分された誤差
知ってるつもりよく言われる話:バックプロパゲーションはヒントンが発明した
元の資料では:論文自身が、ほかの人も別に見つけていたと書く。ノーベル委員会の解説(2024)もと呼び、大事なのは、隠れ層のあるネットワークで、その層なしでは解けない課題を解けると示したことだとする。

図が示すこと:隠れ層のあるネットワークは、出力の誤差を後ろから配って重みを直すことで、1段では解けないXORを解ける。

学習回数ごとの誤差の大きさ
091985〜1987・ニューラルネットワーク

8つを3つに圧縮する

正解を別に用意せずに、ネットワークに符号を作らせられるか。

入力と同じものを出力させる課題を、真ん中の層が細いネットワークに学習させる。8個の入力のどれか1つだけが1のパターンを、3個の隠れニューロンを通して、同じ8個の出力に写す。ネットワークは8つのパターンに、3つの値の組(符号)を自分で割り当てるしかない。

この課題は1985年のボルツマンマシンの論文に符号化の問題(encoder problem)として登場し、1986年の本の誤差逆伝播法の章でも学習させた。章によると、隠れニューロンは0と1だけでなく途中の値も使った。右の図で、8つのパターンが立方体の別々の場所に散らばるのを見よう。

1987年にはバラードが、このネットワークを積み重ねる方法を出した。今はオートエンコーダー(自己符号化器)と呼ぶ。

符号z=σ(W1x)  出力y=σ(W2z)  復元誤差 =Σ(y − x)²
x・z
入力(8個)・隠れ層(3個)
W1・W2
前半(エンコーダー)・後半(デコーダー)の重み
知ってるつもりよく言われる話:オートエンコーダーは2006年にヒントンが始めた
元の資料では:1985〜1987年にすでにあった。2006年のScienceの論文も、深いオートエンコーダーがよく働くことは(訳)と書く。

図が示すこと:8つの入力を3つに押しこんで元に戻すように学習させると、ネットワークは正解を教わらずに自分で符号を作る。

学習の繰り返しごとの復元誤差
101986〜1990・ニューラルネットワーク

1つ前の自分を入れる

順番に来る文字を、ネットワークはどう記憶するのか。

1990年、エルマンは3層のニューラルネットワークに文脈ユニットを足した。隠れ層の値をそのまま文脈ユニットに写し、次の時刻に入力と一緒に入れる(再帰型ネットワーク、RNN)。写す結合は重み1に固定した。

区切りの書いていない文字の並びで次の文字を予測させると、予測の誤差は単語の始まりで大きく、単語が進むと小さくなった。教えていないのに、単語の切れ目が浮かび上がる。右の図は、このサイトが作った5つの単語を並べた例。紫の棒(1文字め)だけが高く残る。

エルマン自身が、この考えはジョーダンの1986年の報告に始まると書いている。

ht =tanh(W xt +U ht−1)
xt
時刻tの文字
ht−1
1つ前の隠れ層
U
文脈ユニットからの結合
知ってるつもりよく言われる話:RNNは1990年にエルマンが発明した
元の資料では:エルマンの論文そのものが、ジョーダン(1986)が初めて書いた考えだとし、先行例を挙げている。ノーベル委員会の解説は、ホップフィールド・ネットワークも再帰型だと書く。

図が示すこと:1つ前の自分を次の入力と一緒に入れると、区切りの書いていない文字の並びから、教えていないのに単語の切れ目が浮かび上がる。

単語の何文字めかと、予測誤差の平均
111989・畳み込み

同じ窓を使い回す

位置が少しずれた手書き数字も読めるニューラルネットワークを、どう作るか。

1989年、ベル研究所のルカンたち7人は、アメリカの封筒に書かれた手書きの郵便番号の数字9,298個を使って、数字を識別するニューラルネットワークを学習させた。鍵は、同じ5×5の小さな窓(特徴を見つけるフィルター)を、画像のあちこちで使い回すこと(今の言葉で畳み込み)。

右の図で窓を選び、数字をずらしてみよう。窓と形が合う場所が反応し、反応する場所も一緒に動く。窓を使い回すため、学習する重みの数は大幅に減る(右上の数)。

テストデータの2,007個で、誤り率は5.0%。論文は、福島邦彦の1980年の論文(ネオコグニトロン)を1か所だけ引用している。

地図(x, y)=Σi,j k(i, j)× 絵(x+i, y+j)
k
窓(5×5の重み。どの場所でも同じ)
知ってるつもりよく言われる話:画像認識のディープラーニング(畳み込み)はアメリカで生まれた
元の資料では:ルカンたち自身が1998年に(訳)と書いた。違いは、ネオコグニトロンにはネットワーク全体を学習させる方法(誤差逆伝播法)がなかったこと。

図が示すこと:同じ小さな窓を画像のあちこちで使い回すと、数字が少しずれても同じ形を見つけられ、学ぶ重みの数も大きく減る。

121989〜1998・畳み込み

自信のない文字は人に回す

5%誤る機械は、銀行で使えないのか。

1989年の郵便番号を読むネットワークは、テストデータの5.0%を誤った。論文は、誤り率を1%に抑えるには12.1%を「読めない」とはじく必要がある、とも指摘した。答えの自信が低いものを人に回せば、機械が答えたものの中での誤りは減る。右の図で、はじく線θを動かしてみよう。

1998年、ルカンたちは7層の畳み込みニューラルネットワークLeNet-5と、小切手を読むシステムをまとめた。このシステムはNCR社の小切手読み取り機に組み込まれ、アメリカのいくつかの銀行で使われた。この論文の手書き数字のデータセットMNIST(訓練データ6万・テストデータ1万)での誤り率は0.95%だった。

はじく割合 = 自信 <θの数 ÷ 全部の数
θ
はじく基準となる線
自信
出力の値のうち、最も大きいもの

図の自信の分かれ方は、1989年の論文の2つの点に近くなるように、このサイトが作った例。

知ってるつもりよく言われる話:ディープラーニングは2012年から役に立ち始めた
元の資料では:1990年代後半には、畳み込みニューラルネットワークが、銀行で小切手を読むという実際の仕事をしていた。

図が示すこと:5%間違える機械でも、自信の低い答えを人に回せば、機械が答えた中の間違いはずっと減る。

はじく割合と、答えた中での誤り率
131990・機械翻訳

対訳から確率を計算する

辞書も文法も書かずに、訳の手がかりを集められるか。

1990年6月、IBMのブラウン、ジェリネックたち8人は、翻訳を確率の計算として扱う方法を発表した。材料にしたのは、英語とフランス語の両方で記録されたカナダの議会記録(英語約1億語)である。

対訳の文の組はあっても、どの単語がどれの訳なのかは書かれていない。そこで論文は、音声認識で使われていたEMアルゴリズムを採用した。初めは、どの単語がどれの訳になる確率も同じと仮定し、その確率をもとに数え直す計算をくり返す。右の図で「1回くり返す」を押してみよう(文の組はこのサイトが作った例)。

論文は4万組の文から約8,100万個の数を見積もり、theがleやlaに、notがpasに自動で結びついたと書いた。新しい文73個の訳は、一字一句同じものが5%、筋の通った訳が48%だった。

分け前 =t(f|e)÷ Σe′ t(f|e′)
t(f | e)
英語のeがフランス語のfに訳される確率
e′
同じ文の組にある英語の単語すべて

図が示すこと:どの単語がどの訳かが書かれていない対訳でも、『だいたい均等』から始めて数え直しをくり返すと、正しい組が自然に浮かび上がる。

141991・ニューラルネットワーク

仕事を専門家たちに分ける

いろいろな仕事を、1つのニューラルネットワークに学習させるとどうなるか。

1つのネットワークにいろいろな仕事を学習させると、互いに邪魔をして学習が遅くなる。1991年、ジェイコブス、ジョーダン、ナウラン、ヒントンはこの問題に対し、複数の専門家のネットワークと、どの専門家に任せるかの確率を出すゲートのネットワークを組み合わせた。

誤差の測り方を、協力ではなく競争する形にしたため、それぞれの専門家が入力データの一部だけを受け持つようになる。右の図は、左右で形の違う点の並びを、直線しか引けない2人の専門家に学習させた例。下の帯がゲートを表す。

2017年には、何千もの専門家から上位の少しだけを選ぶ、大規模な仕組みも作られた(11章)。

y=Σk gk yk  gk =esk /Σm esm
yk
専門家kの出力
gk
ゲートがkに任せる確率(合計は1)
知ってるつもりよく言われる話:専門家の混合(MoE)は、ここ数年の大規模言語モデルのための新しい工夫
元の資料では:基本的な考え方は1991年の論文にあった。2017年の論文自身も、この方法は(訳)多くの研究があった、と書いている。

図が示すこと:いろいろな仕事を1つのネットワークにやらせると互いに邪魔をする。競争させると、専門家がそれぞれ一部だけを受け持つようになる。

繰り返しごとの誤差の平均
151992〜1997・強化学習

勝ち負けだけから学ぶ

一手ごとの正解を教えずに、強い打ち方を学習できるか。

1992年、IBMのテサウロが作ったTD-Gammonでは、3層のニューラルネットワークが自分自身とバックギャモンで何十万回も対戦し、勝ち負けだけから学習した(強化学習)。150万回対戦した版は、元世界チャンピオンのロバーティとの40回の勝負で1点差まで迫った。

鍵は時間差(TD)だ。一手ごとに、局面の勝ちやすさの予測値を、次の局面の予測値に少し近づける。最後の勝ち負けが、少しずつ前の局面へ伝わっていく。右の図は三目並べで同じ学習をする。空いたマスを押して、×で対戦もできる。

1997年8月、オセロの世界チャンピオン村上健は、自己対戦などで学習したプログラムLogistelloに0勝6敗で敗れた。Logistelloは、ふつうのパソコンで動いていた。

V(st)← V(st)+α[V(st+1)− V(st)]
V(s)
局面sでの勝ちやすさの予測値
α
予測を近づける割合
知ってるつもりよく言われる話:AIが人間の打ち方を変えたのは、囲碁のAlphaGo(2016)から
元の資料では:Nilssonの本には、1990年代にバックギャモンのトッププレイヤーたちが TD-Gammonをまねて序盤の打ち方を変えた、という記述が引かれている。

図が示すこと:一手ごとの正解を教えなくても、次の局面の予測に今の予測を少し近づけることをくり返すと、勝ち負けが前の局面へ伝わって強くなる。

ランダムに打つ相手と200回対戦(紫=負け、灰=引き分け)
161992〜1995・機械学習

最も広い道の真ん中

データを分ける境界線がたくさん引ける時、どれが良いのか。

バプニクたちは、2種類のデータのどちらからもできるだけ遠い、最も広い道の真ん中に線を引けば、初めて見るデータもうまく分類できると考えた。道の幅の半分をマージンと呼ぶ。

境界線を決めるのは、道の端に触れるわずかな点だけだ(サポートベクター=道を支える点)。右の図で点を引っ張ってみよう。輪のついた点を動かすと道が変わるが、ほかの点は、道に入らない限り動かしても境界線は変わらない。

手書き数字のMNISTで、コルテスとバプニクの方法は誤り率1.1%と、LeNetに近い成績を出した。ただし1文字の識別に約1,400万回の掛け算と足し算が必要だった。

マージン =1/ ‖w‖ を最大に  条件:yi(w · xi +b)≥ 1
w・b
境界線を決めるパラメータ
yi
点iのグループ(+1か −1)
知ってるつもりよく言われる話:ニューラルネットワークは、1980年代のあと、ずっと主役だった
元の資料では:2000年前後の10年は、実用的な識別タスクの多くを、サポートベクターマシンなどニューラルネットワーク以外の手法が占めていた(Schmidhuber、2014)。

図が示すこと:2つのグループを分ける線は何本も引けるが、両側からいちばん遠い『最も広い道』の真ん中がよい。その線は道の端に触れる少しの点だけで決まる。

171997・ニューラルネットワーク

記憶の箱と、門

ずっと前の手がかりを、ネットワークはどう覚えておけるか。

再帰型ネットワークを誤差逆伝播法で学習させると、誤差の信号は、時間を1歩さかのぼるたびに同じような数を掛けられる。1より小さければ消え、大きければふくれる。ホッフライターは1991年にこの問題を分析した。

1997年、ホッフライターとシュミットフーバーのLSTMはを備えた。箱の中身は重み1で自分へつながり、消えずに運ばれる。出し入れは入れる門と出す門が開け閉めする(1997年の門はこの2つ)。右の図で「流す」を押そう。論文は、1,000歩以上離れた手がかりも使えたと書いた。

ct =ct−1 +it × gt  ht =ot × h(ct)
c
箱の中身
i・o
入れる門・出す門(入力ゲート・出力ゲート。0〜1)
g
入れたい値

図のLSTMの重みは、このサイトが手で決めたもの(学習させていない)。「くわしく」で開く下のグラフは、1歩ごとに「掛ける数」を掛けた時に残る誤差の信号。

図が示すこと:ふつうの再帰型ネットワークでは、さかのぼるたびに信号が掛け算で消えていく。LSTMは記憶の箱を重み1でそのまま運び、門で出し入れするので、遠い手がかりを覚えておける。

さかのぼった歩数と残る信号(縦は10倍ずつの目盛り)
181994〜1997・探索

読まない枝を切り落とす

1秒に約2億の盤面を調べるコンピュータは、すべてを読んだのか。

1997年5月、IBMのチェス専用コンピュータ、ディープ・ブルーは、ニューヨークで世界チャンピオンのカスパロフに2勝1敗3引き分け(3.5対2.5)で勝った。強さの元は、1秒に約2億の盤面を調べる力まかせの計算と、名人の対局記録だった。

それでもすべてを読むことはできない(5章の組み合わせの爆発)。アルファベータ法は、相手にもっと良い手があると分かった枝を、それ以上読まずに切り落とす。右の図で、読んだ葉の数を比べよう。答えは同じまま、読む数が減る。

サイモンたちの(訳)という予言(1957年)は、約40年後に形を変えて実現した(3章)。

α ≥ βになったら、その枝の残りは読まない
α
自分がすでに確保した最小の得点
β
相手がこれ以上は取らせない最大の得点
知ってるつもりよく言われる話:ディープ・ブルーの勝利はAIの勝利
元の資料では:IBM自身が当時のページで(訳)と書き、膨大な計算と名人の対局記録で強くなったと説明していた。

図が示すこと:アルファベータ法は、相手にもっと良い手があると分かった枝をそれ以上読まずに切り落とす。答えは同じまま、読む数が減る。

191985〜2005・ロボット

考えてから動くのをやめた

地図を持たないロボットは、部屋じゅうを動けるか。

1985年9月、MITのブルックスは、ロボットの動作を層に分けて設計する方法を発表した。下の層(ぶつからない、など)の上に高度な動作の層を重ね、上の層は必要な時だけ下の層を抑えこむ。1991年の論文では(訳)と書いた。

2002年に199.95ドルで発売されたロボット掃除機ルンバの発表資料でも、地図の話は出てこない。うず巻き・壁沿い・直進の走りを繰り返し、部屋の各部分を2〜5回通過する。右の図で層を足したり外したりしてみよう(部屋はこのサイトが作った例)。

日本では1999年にソニーのAIBO、2000年にホンダのASIMOが発表された。

出す動き = いま働いている、いちばん上の層の動き
層
直進する・壁沿いに進む・うず巻き状に回る、といった動作のまとまり
知ってるつもりよく言われる話:1980年代後半〜90年代のAIの冬には、研究そのものが止まった
元の資料では:同じころ、ブルックスは冬の様子を書きながら、体と動きから知能を作る別の道を示し、動き回るロボットを作っていた。

図が示すこと:地図を持たず、ぶつかったら曲がる・壁に沿う・うず巻き、の層を重ねるだけのロボットでも、部屋じゅうを何度も通れる。

走行した床の割合(紫=壁ぎわ、緑=中央)
201993〜2005・予言

「倍々」の線を先へのばす

コンピュータの性能向上から、脳に並ぶ年を予言できるか。

1998年、カーネギーメロン大学のモラベックは、人の脳の働きには約1億MIPS(1秒に100万回の命令が1 MIPS)が必要だと見積もった。そして、必要なハードウェアは(訳)手に入ると予言した。1960〜1990年は(訳)だった、とも書いている。

予言の年は、倍になる期間をどう置くかで大きく動く。論文によると、1990年には安いパソコンで1 MIPSが1,000ドル。倍になる期間は、1980年代に18か月、1990年代後半に12か月だった。右の図で期間を変えて試してみよう。

1993年、ヴィンジは(訳)と書いた。

届く年 =1990+ 倍になる期間(年)× log2(1億)
log2(1億)
約26.6(2倍を何回繰り返せば1億倍になるか)
知ってるつもりよく言われる話:シンギュラリティはカーツワイルの考え(2045年)
元の資料では:ヴィンジは1993年にthe Singularityと呼び、人を超える知能は2005〜2030年と書いていた。言葉はフォン・ノイマン、考えはI・J・グッドにさかのぼる、とヴィンジ自身が紹介している。

図が示すこと:性能が倍々に伸びる線を先へのばすと、脳に並ぶ年が予言できる。でも『何か月で倍になるか』の置き方だけで、その年は何十年も動く。

おわりに

この章で、まだ分かっていないこと

アメリカのは、学会の会員数や企業の売上から見ると、1980年代の後半から何年もかけて来た。日本では1991年の国の白書がを迎えなかったと書いたが、1991年より後に日本のAI利用がどう変わったのか、日本に冬がいつ来たのか(そもそも来たのか)は、まだはっきりしない。1984年の筋書きにあった(訳)が本当に起きたのかも、数えた資料は見つかっていない。

同じ時代に、現代のAIにつながる技術はほとんど出そろっていた。ホップフィールド・ネットワーク、ボルツマンマシンと制限ボルツマンマシン、誤差逆伝播法、入力を細い層に押しこむネットワーク(オートエンコーダーの原型)、再帰型ネットワークとLSTM、畳み込み、専門家の混合、サポートベクターマシン、自分どうしの対戦から学習するTD学習。けれど、TD-Gammonがなぜうまく学習できたのかは、当時の理論では説明されていなかった。本物の脳がホップフィールド・ネットワークのように働いているのかも、確かめられていない。

足りなかったものの1つは、コンピュータの計算力だったのかもしれない。モラベックは1998年、長く実らないと言われた種が急に芽を出している、と書いた。次の章では、2006年から、深いニューラルネットワークが「データから自分で学ぶ」第3次ブームが始まる。

この章のほかの出来事(1件。どれも元の資料と確度つき)
1983年〜1984年元で確認食い違いあり

「マッカーシーがMYCINに『男の患者の羊水』を入れたら、そのまま受け入れた」── 開発者自身が本の注に記録

専門家の知識を書き込むAIは、書き込んでいない(あたりまえのこと)を知らない、という弱点の例として、よく語られる話がある。MYCINの本(1984)の注には、ジョン・マッカーシーさんが、男性の患者の検査の材料(培養の場所)を羊水だとMYCINに入れたところ、MYCINは間違いに気づかずに受け入れた、と書かれている。マッカーシーさんのウェブの論文(1984)には、この話は無いが、MYCINは治療の後どうなるかの見通しを持たず、にも答えられない、と常識の欠如を書いている。

よく言われる話:「マッカーシーがMYCINをからかった、という話がある(うわさ)」と伝わりがち(Nilssonもと書く)
元の資料では:MYCINを作った人たち自身が、1984年の本の注に、この出来事をを出典として書いている。ただしマッカーシーさんのウェブの論文にはこの話は無く、別の常識の欠如(治療の後の見通しが無いなど)が書かれている。

分かっていないこと:が具体的にどの文章や講演を指すかは確かめていない。

元の資料3件と確かめた所

食い違い:話の細かい違い:Nilssonは『男性で、羊水検査(amniocentesis)を受けた』と入れた、と書く。MYCINの本は『男性の患者の培養の場所が羊水(amniotic fluid)』と書いている。

  1. Rule-Based Expert Systems: The MYCIN Experiments of the Stanford Heuristic Programming Project, Chapter 36 Major Lessons from This Work(注18)(Bruce G. Buchanan, Edward H. Shortliffe・1984・p.692注18・本人の後の回想)
  2. Some Expert Systems Need Common Sense(ウェブ版、1984。節COMMON SENSE KNOWLEDGE)(John McCarthy・1984・node2.html(COMMON SENSE KNOWL…・元の資料)
  3. The Quest for Artificial Intelligence(Nils J. Nilsson・2010・p.407 24.3 Acknowledged Shortcomings・まとめ)