03 1969・線形分離
線1本の壁
学習するパーセプトロンに、どうしても解けない問題はあるのか。
1969年、MITのミンスキーとパパートは著書『パーセプトロンズ』 で、1958年のパーセプトロン(入力に重みを掛けて足し、決まった値を超えたら「はい」と答える学習機械)の限界を数学で調べた。
最も単純な例がXOR(どちらか一方だけが1のとき1)。右の4つの点のうち、黒(答え1)と白(答え0)を直線1本で分けてみよう。ANDとORは分けられるが、XORはどう引いても分けられない 。1段のパーセプトロンが引ける境界線は、この「線1本」だけだ。
「線を2本にする(層を重ねる)」を押すと、2本の線の間に黒を集めて分けられる。これが、層を重ねるとXORを学習できる理由だ(8章)。層を重ねた機械に広げても「実りがない」 (訳)という見方は、本自身が「直観的な判断」 (訳)と書き、確かめるべき課題としていた。?
y=1(w₁x₁ +w₂x₂ +b>0のとき)、それ以外は0
x₁, x₂ 入力(0か1) w₁, w₂ 重み b バイアス。w₁x₁ +w₂x₂ +b=0が境界となる「線1本」を表す
知ってるつもり よく言われる話: 『パーセプトロンズ』 はニューラルネットワークではXORが解けない(だから役に立たない)と証明した元の資料では: 本が証明したのは、各部品が見る範囲を限った1段の機械の限界 。層を重ねた機械が役に立たないという予想は、本の中でも直観的な判断だった。
本が研究を止めたのか ノーベル物理学賞の解説(2024)は、この本が研究費の空白につながったと書く。AIの歴史の本を書いたNilsson(2010)は、そう言う人もいるが疑わしい、と書く。本人たちは1988年に、本のせいではなく「十分な基本の理論が無いため、進歩はすでに事実上止まっていた」 (訳)と反論した。
1つの原因に決めつけられない。研究費の減少を、ニューラルネットワークの研究に絞った数字で示した資料は、まだ見つかっていない。
元の資料と確度(3件)
× 元の資料と確度(3件)線1本の壁 1969年 まとめで確認 食い違いあり
ミンスキーとパパートの本『パーセプトロンズ』 、単純なニューラルネットワークの限界を数学で示す MITのMarvin MinskyとSeymour Papertが、1950年代にRosenblattが作った学習する機械「パーセプトロン」 (ニューラルネットワークによるパターン認識の仕組み)の力を数学で調べた本。各部品が見る点の数を限ると、「どちらか一方だけ」 (XOR)より複雑な「点の数が偶数か奇数か」 や「図形が1つにつながっているか」 は識別できないと証明した。多層ネットワークについては、拡張しても「実りがない」 という直観的な判断を書きつつ、それを確かめる(または退ける)のは大事な研究課題だとも書いた(Pollackが引くp.231)。
よく言われる話: 「パーセプトロンズは、脳をまねた機械ではXORが解けない(だから全部ダメ)と証明した」と言われがち元の資料では: 本が証明したのは、部品が見る範囲(order)を限った1段の機械の限界である(parityや、図形がつながっているかの判定など)。層を重ねた機械が役に立たないというのは、本の中でも『直観的な判断』 にとどまり、確かめるべき研究課題と書かれていた(Pollackが引くp.231)。
元の資料5件と確かめた所 食い違い: 本書が多層(層を重ねたネットワーク)について何を述べたかで説明が分かれる。よく『多層でもダメだと証明した』と言われるが、Pollackが引く本のp.231では『直観的な判断』 として書かれ、確かめる(または退ける)のは大事な研究課題としている。引用ページはPollackの書き方でp.231(本そのものは未確認)。
Perceptrons: An Introduction to Computational Geometry (Marvin L. Minsky, Seymour A. Papert・1969・元の資料・開けなかった) Foreword to Perceptrons (Reissue of the 1988 Expanded Edition), MIT Press 2017 (Léon Bottou・2017・p.viii-ix Foreword・まとめ) Book Review: No Harm Intended — Minsky & Papert, Perceptrons, Expanded Edition (1988) (Jordan B. Pollack・1989・p.2-3 Introduction / Malice Aforeth…・まとめ) The Quest for Artificial Intelligence (Nils J. Nilsson・2010・p.262 16・まとめ) Scientific Background to the Nobel Prize in Physics 2024 (The Nobel Committee for Physics・2024・p.2・まとめ) 1969年 確認が弱い 食い違いあり
「『パーセプトロンズ』 が脳をまねたAIの研究を止めた」は本当か:意見が分かれている 「1969年の本が、脳の神経をまねて学ぶ機械(ニューラルネットワーク)の研究を止め、その後10年以上の冬を呼んだ」という話がよく語られる。ノーベル物理学賞の解説(2024)は、この本が研究費の空白につながったと書く。一方、歴史をまとめたNilsson(2010)は「そう言う人もいるが私は疑う」 と書いた。科学の社会学の論文(Olazaran 1996)は、次のように論じた(要旨)。本の証明は、ニューラルネットではこれ以上進歩できないことを示すと受けとられた。それは、記号を使うAIが主流として根づき、正しいとされていく中でできた公式の解釈だった。1980年代後半の復活のあとには、論争の『公式の歴史』 が書き直された。著者たちも1988年に、本のせいだというよくある見方に対して「十分な基本の理論が無いため、進歩はすでに事実上止まっていた」 と反論した。
よく言われる話: 「1冊の本が、脳をまねたAIの研究を10年以上止めた」とよく言われる元の資料では: 資料によって書き方が異なる。ノーベル委員会(2024)は研究費の空白につながったと書くが、Nilsson(2010)は疑うと書く。著者らは1988年に『すでに事実上止まっていた』 と反論した。科学社会学の論文(Olazaran 1996)は、証明の受け取られ方は記号AIが主流として根づく中でできた公式の解釈であり、復活後に論争の『公式の歴史』 が書き直されたと論じた(要旨)。1つの原因に決めつけられない。
分かっていないこと: 研究費がどれだけ減ったかを、ニューラルネットワークの研究に絞った数字で示した資料は見つけられていない。本の影響の大きさは、数字ではなく人の証言や解釈で語られている。
元の資料7件と確かめた所 食い違い: 本が研究の停滞を「起こした」か:ノーベル委員会2024(研究費の空白につながった)、Bottou 2017(本の後、研究費が来なくなった)↔ Nilsson 2010(疑う。Rosenblatt自身が先に離れ、関心は1960年代半ばに別の方法へ移っていた)、MinskyとPapert 1988(理論が無くてもう止まっていた)、Olazaran 1996(要旨:証明がニューラルネットはこれ以上進歩できないことを示すと受けとられたのは、記号のAIが主流として根づく中でできた公式の解釈で、1980年代後半の復活のあとに論争の公式の歴史が書き直された)。決着していない。
Scientific Background to the Nobel Prize in Physics 2024 (The Nobel Committee for Physics・2024・p.2・まとめ) The Quest for Artificial Intelligence (Nils J. Nilsson・2010・p.262 16・まとめ) Foreword to Perceptrons (Reissue of the 1988 Expanded Edition), MIT Press 2017 (Léon Bottou・2017・p.viii-ix Foreword・まとめ) Book Review: No Harm Intended — Minsky & Papert, Perceptrons, Expanded Edition (1988) (Jordan B. Pollack・1989・p.3 Malice Aforethought?・まとめ) A Sociological Study of the Official History of the Perceptrons Controversy (Social Studies of Science 26(3): 611-659) (Mikel Olazaran・1996・abstract(Crossrefに出版社が登録した要旨)・まとめ) Perceptrons, Expanded Edition (1988), Prologue: A View from 1988(Marvin L. Minsky, Seymour A. Papert・1988・p.xii Prologue・本人の後の回想・開けなかった) One AI or Many? (Daedalus Vol. 117, 1988, pp. 1-14)(Seymour Papert・1988・p.4・本人の後の回想・開けなかった) 1971年 まとめで確認 日本
『パーセプトロンズ』 の日本語訳が、原書の2年後に出る(東京大学出版会)ミンスキーとパパートの本は、1971年に『パーセプトロン:パターン認識理論への道』 として日本語に翻訳された(斎藤正男 訳、東京大学出版会、292ページ)。1988年の増補版も、1993年に中野馨・阪口豊の訳で出版された(パーソナルメディア)。1993年の訳者の中野馨は、国会図書館の目録では『アソシアトロン』 の本(1979年、昭晃堂)の著者と同じ名前で、共訳者の阪口豊との共著論文(1992年)も目録にある(同一人物と考えられるが、目録に明記はない)。
元の資料3件と確かめた所 国立国会図書館サーチ 書誌:パーセプトロン : パターン認識理論への道(1971)/パーセプトロン 改訂版(1993.12) (国立国会図書館・2019・書誌JPNO 69005246 / 94062658・まとめ) CiNii Books書誌:BN00785033(1971)/BN10089786(1993) (国立情報学研究所・書誌・まとめ) 国立国会図書館サーチ:著者「中野馨」の書誌一覧(アソシアトロンの本1979、阪口豊との共著1992ほか) (国立国会図書館・書誌一覧・まとめ)
解説を見る 解説をとじる