AI HISTORY/PRIMARY SOURCES × PYTHON

AIの全歴史

考える機械の夢から、文章を書くAIまで。400年近い挑戦を、触って、動かして、確かめよう

AIに関わる論文・本・当時の記事など、元の資料 667件を1件ずつ開いて調べ、その仕組みを 146本のプログラムで実装してみた。

教科書の1行の向こうには、ワクワクする本当の話がある。有名な話は、言った人の本や論文、当時の記事まで戻って確かめた。
仕組みは、図を動かし、Pythonを実行して、自分の手で確かめられる。どの章から読んでもいい。

01章01・全体

ブームという波と番号の付け方

「第1〜4次AIブーム」の番号は、だれが、いつ付けたのか。

AIには、期待がふくらむ時期(ブーム)と、しぼむ時期(冬)が何度もあった。けれど、ブームの大きさは目に見えない。そこでこのサイトは、英語の本、世界の論文と日本の本の題名、日本の国会の発言で、言葉が使われた数を年ごとに数え、波の形を見た。

右の図がその実データだ。国会でAIの意味の「AI」が出てくる発言は、2019年に山を作り、いったん下がり、2023年に前の山をこえた。ただし、数え方で形は変わる。「AI」の2文字で探すと、AIDS や AIG まで数えてしまう。だから1件ずつ中身を見て基準を作り、数え直した。

「第1〜4次」という番号は、日本でよく使われる数え方だ。英語の本では、ブームではなくに番号をつける。1985年の国会ではと説明されていた。

知ってるつもりよく言われる話:はミンスキーとシャンクが警告した言葉
元の資料では:1984年の討論会の記録では、ミンスキーは討論者の中にいない。言葉は、これから来るかもしれない最悪の事態の名前として出てきた。
この章へ進む →

図が示すこと:ブームの大きさは数え方しだいで形が変わる。しかも『第1〜4次』と番号を付けるのは主に日本の数え方で、英語では冬のほうに番号を付ける。

02章02・〜1955年

考える機械の夢と、計算の機械

は、いつから本気で問われたのか。

1637年、デカルトは人に似た機械を見分ける2つの方法を記した。1770年の「チェスを指す機械」は、中に人が隠れていた。1843年、ラブレスは解析機関の注釈を書いた。江戸時代の日本では、からくり人形が作られた。

1936年、チューリングはテープと規則の表だけで計算する機械の考えを示した。右の図で1936年の箱のふたを開けると、その機械で2進数に1を足す例が見られる。ヘッドがテープの文字を読み、表を見て書きかえ、左右に1つ動く。どんな計算も、この単純な動きの組み合わせで書けると考えた。

1943年、マカロックとピッツは脳の神経細胞(ニューロン)をスイッチとして表した。入力を足し合わせ、一定の値以上になったら発火する。これがニューラルネットワークの出発点だ。そして1950年、チューリングは(訳)という問いを、まねっこゲームに置き換えた。

知ってるつもりよく言われる話:審査員の30%をだませば合格
元の資料では:チューリングの論文に、その基準は無い。本人が書いたのは、約50年後の見通しだった。
この章へ進む →

図が示すこと:「機械は考えられるか」は1950年に急に出た問いではない。1637年にデカルトが、人に似た機械を見分ける方法を書いてから300年以上、人形・歯車・カード・テープ・スイッチの『考えているように見える機械』が作られ、考えられてきた。中をのぞくと、人が隠れていたか、決まった手順(表・歯車・カード・規則の表・スイッチ)だった。1950年、チューリングは中身を調べるのをやめ、文字のやりとりだけで機械を見分けられるか、という問い(まねっこゲーム)に置きかえた。

03章03・1955〜1960年

という名前が生まれる

間違えると自分を修正する機械は、何を学習したのか。

1955年、夏の研究会の計画書でという名前が使われた。計画書にあったのは、ひと夏で完成させることではなく、1つ以上の問題で大きく前進できるという見通しだった。

1958年、アメリカ海軍はローゼンブラットのパーセプトロンを記者に見せた。カードの印が右か左かを、50回ほどの試行で識別できるようになった。右の図でカードを見せてみよう。間違えたときだけ、印のあったマスの重みを修正する。最後に重みの分布を見ると、機械は「右」「左」という言葉を知らず、どのマスがどちらに投票するかを学習しただけだと分かる。

同じころ、サイモンとニューウェルは「10年以内に、計算機がチェスの世界チャンピオンになる」(訳)などの予言をし、答え合わせの日まで自分たちで書いた。

知ってるつもりよく言われる話:ダートマスの人たちは、ひと夏でAIを完成させるつもりだった
元の資料では:計画書にあったのは、1つ以上の問題で大きく前進できるという見通しだった。
この章へ進む →

図が示すこと:パーセプトロンは『右』『左』という言葉を知らないまま、まちがえた時だけ重みを直して、どのマスがどちらに投票するかを覚えただけ。50枚ほど見ても、重みの板に残っているのは『まちがえたカードを重ねたもの』だけ。

5枚ごとの誤りの数
04章04・1960年代

探索と推論、そして大きな予言

迷路の出口を、どう探せば速いのか。

第1次AIは、迷路やパズルのようにルールが明確な問題を探索して解くのが得意だった。1968年のA*は、ここまでの道のりにゴールまでの推定距離を足して、次に調べる場所を選ぶ。右の図で、推定なし・A*・推定を3倍にした探索を比べてみよう。推定が適切なら、少ない探索で最短ルートを見つけられる。推定を大きくしすぎると探索は速いが、最短ではなくなる。

1966年のELIZAは、キーワードを見つけてルール通りに文を組み替えるだけで、人と対話しているように見えた。1968年には日本で、郵便番号を読み取る機械が公開された。

大きな予言も出た。1965年、サイモンは(訳)と書いた。

知ってるつもりよく言われる話:サイモンは20年で機械が人の仕事をすべて奪うと予言した
元の資料では:元の論文は、これは技術的な能力の見通しで、それをどう使うかについては何も言っていない、と続けていた。
この章へ進む →

図が示すこと:ゴールまでの推定(見積もり)を足して探すと、少ないマスで最短の道が見つかる。推定を大きくしすぎると、調べるマスはもっと減るけれど、最短ではなくなる。推定のつまみ1本を回すだけで、その「得」と「損」の境目が体で分かる。

05章05・1966〜1980年

第1次ブームのあとの冬

アメリカ・イギリス・日本で、は同じ年に来たのか。

期待に届かず研究費が減るが来たとされる時代。1966年のアメリカの機械翻訳の報告、1969年の本、1973年のイギリスのライトヒル報告が続いた。

けれど右の図で3か国の出来事を並べると、冬の来方はばらばらだ。日本では1971年に国の大計画が始まった。1972年のアソシアトロン(一部から全体を思い出す)、1979年のネオコグニトロン(位置がずれても形を識別する)など、今のAIにつながるニューラルネットワーク研究も生まれた。「いまの年」を動かすと、同じ年でも資料によって「冬は無かった」と答えが割れる。

この章では、直線1本の壁(XOR)、組み合わせ爆発、話し言葉のビームサーチ、声の速さをそろえるDPマッチング、顔の部品を見つける方法など、19の仕組みを動かす。

知ってるつもりよく言われる話:1974〜1980年はAIの冬で、研究が止まった
元の資料では:ACMのAI部会の会員は、1973〜1978年にほぼ3倍になった。だったかどうかは、何を物差しにするかで変わる。
この章へ進む →

図が示すこと:『冬』がいつだったかは、どの資料を物差しにするかで大きく変わる。日本では同じころ、大きな計画やニューラルネットワークの研究が始まっていた。

06章06・1975〜1990年

専門家の知識を書き込む

のルールを並べると、何ができて何ができないのか。

第2次ブームは、専門家の知識をのルールとして書き込むAI(エキスパートシステム)から始まった。1972年からのMYCINは、感染症の薬選びを助言する研究だ。ルールと確信度(どれくらい確からしいか)を組み合わせ、「なぜ?」と聞かれると、使ったルールを示して答えた。

右の図は、同じ仕組みを自転車の調子で動かす例だ(医学の助言はしない)。分かっていることを押して切り替えると、使えるルールが次々に働き、結論と確信度が変わる。ルールにない症状には何も答えられない。知識を書き足す手間が、この方法の限界になった。

日本では1987年、仙台市の地下鉄が、あいまいなルールを混ぜて使うファジィ制御で運行を始めた。

知ってるつもりよく言われる話:第2次ブームの行き過ぎは研究者の大げさな約束のせい
元の資料では:1984年の記事では、多くの研究者は小さな進歩を話しに来ていて、夢がもうかなったかのように振る舞ったのは展示を出した会社の一部だった。
この章へ進む →

図が示すこと:ルールは分かっていることから次々に働いて結論を出し、理由も示せる。でもルールに書いていないことには何も答えられない。

07章07・1979〜1995年

日本の第五世代コンピュータ

国の大計画は、何を目指し、何を残したのか。

1982年、日本は推論と知識の処理を中心にした新しいコンピュータの計画を始めた。部品の世代(真空管・トランジスタ・IC・LSI)の次という意味でと名づけた。世界が反応し、イギリスやアメリカも大きな計画を始めた。

中心となった道具が、論理プログラミング言語のPrologだ。事実と規則を並べると、問いに推論で答える。右の図で、家族の事実から「祖父母」「いとこ」を探してみよう。事実を調べた回数が推論の手間になる。1992年の並列推論マシンPIM/pは、1秒に1億5,600万回の推論ができた。

最終評価では、推論速度の目標は超えたが、人と対話する仕組みは作るところまで進まなかった。だったかどうかは、何を目標と見るかで評価が分かれる。

知ってるつもりよく言われる話:第五世代は失敗した
元の資料では:最終評価はと書いた。何を目標と見るかで評価が分かれる。
この章へ進む →

図が示すこと:事実と規則を並べておけば、問いに推論で答えられる。ただし遠い親せきほど、事実を調べる手間がどんどん増える。

08章08・1987〜2005年

第2次ブームのあとの冬と、静かに育った芽

層を重ねたニューラルネットワークは、どうやって学習するのか。

エキスパートシステムのビジネスが失速し、2回目のAIの冬が来た。その間に、データから学習する技術が静かに育っていた。1986年、多層ニューラルネットワークを誤差逆伝播法で学習させる論文がNatureに載った。

右の図は、隠れ層を持つネットワークがXORを学習する様子だ。出力の誤差を後ろの層から前の層へ伝え、重みを少しずつ修正する。1層では学習できなかったXORも、層を重ねると解ける。下のグラフで誤差が減っていく。

同じころ、長い文脈を記憶できるネットワーク(LSTM、1997)、データの間に最も広い道を引いて分けるサポートベクターマシン(1995)、自己対戦で学習するバックギャモン(1992)も生まれた。

知ってるつもりよく言われる話:誤差逆伝播法はヒントンが発明した
元の資料では:1986年の論文より前に、ほかの研究者も独自に発見していた。日本の甘利俊一も1967年に、誤差を少しずつ修正して学習する理論を発表していた。
この章へ進む →

図が示すこと:1層では引けなかったXORの境目も、層を重ねて誤差を後ろから前へ伝えて直すと、少しずつ引けるようになる。

誤差の大きさ
09章09・2006〜2012年

データから自分で学ぶ

たくさんの例を覚えるだけで、新しいデータを分類できるのか。

大量のデータとGPUのおかげで、ニューラルネットワークを何層も重ねたAI(ディープラーニング)が急に強くなった。2012年の画像の大会では大差で勝った。その道具の多くは、ずっと前から育っていた。この章では、最小二乗法(1805)・ベイズ・主成分分析・k近傍法・k-means・決定木・SVM・ランダムフォレスト・特異値分解・強化学習など、機械学習の手法を1つずつ動かす。日本の林知己夫の数量化、赤池弘次のAIC、大津展之の二値化も取り上げた。

右の図は、その1つのk近傍法だ。正解のついた点を覚えておき、新しい点の近くのk個の多数決で分類を決める。kを1にすると、訓練データはすべて当たるが、雑音まで覚えてしまい、新しい点では外れやすい(過剰適合)。訓練データとテストデータに分けて確かめるのが、この時代の考え方の中心だ。

知ってるつもりよく言われる話:2006年にヒントンが新しい考えを発明した
元の資料では:その年の論文自身が、深いネットワークが役立つはずだということは1980年代から明らかだった、と書いていた。
この章へ進む →

図が示すこと:kを1にすると覚えた点は全部当たるが、雑音まで覚えてしまい、新しい点では外れやすい。だから訓練とテストに分けて確かめる。

10章10・2012〜2019年

囲碁・将棋・仕事の予言

でたらめに最後まで打ってみると、なぜ良い手が分かるのか。

囲碁や将棋でAIが一流のプロに勝ち、「仕事がなくなる」という予測が世界中で話題になった。日本でもAIブームが起き、「第3次」という呼び方が広まった。この章では、ディープラーニングの道具(オートエンコーダー、GAN、word2vec、物体検出、転移学習、ResNetなど)も1つずつ動かす。

囲碁を強くした鍵の1つが、モンテカルロ木探索(2006)だ。ある手を打ったあと、でたらめに最後まで何度も打ち、勝った割合で手を比べる。右の図は三目並べ。ためし打ちの回数を増やすと、良い手の勝ちやすさがはっきりする。AlphaGo(2016)は、これに、人の対局で学習したニューラルネットワークと自己対戦を組み合わせた。

日本では、2015年に情報処理学会が、コンピュータ将棋はトッププロ棋士にと宣言した。

知ってるつもりよく言われる話:AlphaGoは自分だけで学習して強くなった
元の資料では:2016年にイ・セドルに勝った版も、まず人の対局をお手本に学習してから、自己対戦で強くなった。
この章へ進む →

図が示すこと:でたらめな打ち方でも、たくさんくり返すと、良い手の勝ちやすさがはっきり浮かび上がる。

11章11・2017〜2022年

文章や画像を作るAI

文章を作るAIは、どの言葉に「目を向けて」いるのか。

2017年の論文が示した仕組み(トランスフォーマー)から、文章や画像を作るAIが発展し、2022年に、だれでも使える形で登場した。

仕組みの中心の1つがだ。文の中のある言葉が、ほかのどの言葉にどれだけ目を向けるかを数で決める。右の図で、問いの言葉を切り替えてみよう。「食べた」は、だれが食べたか(ねこ)と、何を食べたか(さかな)に強く目を向ける。数はこのサイトが作った小さな例で、本物のAIの値ではない。

文章を作るAIは、この仕組みで次に来る言葉の確率を出し、1語ずつ選んでいく。

知ってるつもりよく言われる話:ChatGPTは2か月で1億人
元の資料では:会社の発表ではなく、銀行のアナリストがウェブの訪問数から出した推計だった。
この章へ進む →

図が示すこと:ある言葉が、文の中のほかのどの言葉にどれだけ目を向けるかを、数で決めている。『食べた』はだれが(ねこ)と何を(さかな)に目を向ける。

12章12・2023年〜

答え合わせ待ちの予言

直線をのばせば、未来は分かるのか。

いま出ている予言の多くは、AIを大きくするほど性能が上がる、という関係がこの先も続く前提に立っている。右の図は、AIの学習に使った計算量(Epoch AIのデータ)を、10倍ずつの目盛りで並べたものだ。ある年までの点で直線を引き、その先をのばすと未来の予測になる。直線を引く年を動かすと、予測のペースが変わる。

予言は外れるだけではない。2022年に2人の研究者が、2025年までにAIが数学オリンピックで金メダルの点を取るかを予想し、2025年7月にそれが起きた。一方で、いまの大きなAIの中で何が起きているかは、作った人にもほとんど読み解けない、と国際的な報告は書く。

第4次のあとに冬が来るかは、まだ分からない。この章は、答えを言わずに材料を並べる。

この章へ進む →

図が示すこと:どの年までの点で直線を引くかで、未来のペースが大きく変わる。直線をのばした予測は、前提がこの先も続く場合の話。

13章13・全体

波・予言の地図・分かっていないこと

AIの予言は、何年先を言ってきたのか。

最後に、このサイトの記録そのものをデータとして調べる。右の図は予言の地図だ。横軸に予言した年、縦軸に「この年までに」と言った年をとった。近い点は見分けるために少しずらし、細い線で元の年の場所につないでいる。元の年の場所がいまの年の線より上なら、その年がまだ来ていない予言だ。

有名な研究(2012)は、AIの予言は15〜25年後が多い、とした。ところが、その論文の1ページ目には今、(訳)という注が付いている。数え方と集め方で、答えは変わる。

国の教材にも、元をたどると形が変わっていた予言がある。は、元は2005年の本の、計算速度の見通しの図だった。

知ってるつもりよく言われる話:新しい技術は必ず「期待の山
元の資料では:がっかりの谷 → 落ち着く」をたどる → 調査会社の図の通りに起きているかを研究者が確かめたら、その会社自身の記録とも食い違いがあった。毎回同じ流れになるのは、並べるとそう見える話で、決まった法則ではない。
この章へ進む →

図が示すこと:AIの予言は15〜25年先を言うことが多いとされたが、その研究にも誤りの注が付いた。数え方と集め方で答えは変わる。

おわりに

次の1ページは、きみが書く

AIの歴史は、考える機械を夢見た人たちの、400年近く続く挑戦の記録だ。思ったより早く届いた日も、思ったより遠かった日もあった。そのたびにだれかが新しい道具を作り、次の人がそれを使って、もう一歩先へ進んできた。

このサイトでは、有名な話を、言った人の本や論文まで戻って確かめた。図を触り、Pythonのコードを書き換えれば、同じ仕組みを自分の手で動かせる。気になった章から、自由に読んでみてほしい。

予言の地図には、答え合わせを待っている予言がたくさんある。2030年、2045年……。その答えを見届けるのは、いま高校生のきみたちだ。そして、次の予言や次の発明を書くのも、きっときみたちの中のだれかだ。