ATELIER FACTORY ／ REINFORCEMENT LEARNING × CONNECT FOUR
コネクト4で学ぶ強化学習
ルールしか知らないAIが、自分とだけ戦って、先手なら完全読み切りに1手も負けないところまで来た。
その道のりは、全部この実験の本物の記録。模型を動かしながら、一つずつ確かめていこう。
01 ゲームの木
完璧に打ち合うと、どちらが勝つのだろう。
7列×6段の盤に、赤と黄が交互にコインを落とす。縦・横・ななめに4つ並べたら勝ち。途中で出てくる盤の形は、全部で4,531,985,219,092 通り（約4.5兆）ある。
1988年、アレンさんとアリスさんが別々に、このゲームを最後まで読み切った。答えは「先手がまんなかに置けば、先手の必勝」。まんなかの隣（3・5列目）から始めると引き分け、それより外だと後手の勝ちになる。
02 数え上げ
なぜ、まんなかから始めるのだろう。
4つ並べられる「通り道」は、盤の上に69本しかない。マスごとに「そのマスを通る通り道」を数えると、まんなかの低い段ほど多い。いちばん多いマスは13本、四すみは3本。
通り道が多いマスを取ると、自分の勝ち筋が増えて、相手の勝ち筋が同時に減る。コネクト4の定石の多くは、この数え上げから説明できる。
ただし数えるだけでは勝てない。数は「目安」で、本当の答えは01の読み切りでしか分からない。マスを押すと、そこを通る通り道が見えます。
03 関数と行列
盤を見て、どうやって手を選んでいるのだろう。
AIの「頭」は、数字の表でできている。盤を84個の0と1（自分の石がある所42＋相手の石がある所42）にして入れると、表の数字とのかけ算と足し算を3回くり返して、2つの答えが出てくる。
①7列それぞれの「ここがよさそう度」（合計100%）と、②いま自分が「勝ちそうか」（−1〜+1）。この頭の数字は全部で28,424個。最初はでたらめな数字で、学習とはこの数字を直していくことだ。
つまみで「何局戦ったあとの頭か」を選べる。同じ盤でも、100局の頭と100万局の頭では答えがまるで違う。盤を押すとコインを置けます。
04 探索と確率
頭の直感を、どうやって「よく考えた答え」にするのだろう。
AIは1手ごとに「もしここに打ったら」を何十回も何百回も試す（シンプルな頭は学習中40回・対戦で200回）。1回ごとに、盤の先へ先へと1本の道をたどり、行き着いた盤を頭に聞いて、その「勝ちそう度」を通ってきた道に書き戻す。
どの道をたどるかは、3つのバランスで決める。①直感がよいと言う列、②これまで試して結果がよかった列、③まだあまり試していない列。最後に、いちばん多く試した列に打つ。
回数を増やすと、直感とちがう列に票が集まることがある。それが「考えた結果」。この先読みの答えが、次の05で「先生」になる。
05 損失関数
正解を誰も教えないのに、何を目指して学ぶのだろう。
自分どうしで1局打つと、盤ごとに2つの「答え」が手に入る。①その盤で先読みが各列を試した割合 π（直感より少し賢い）。②その1局で最後に勝ったか負けたか z（+1か−1、引き分けは0）。
頭の答え p を π に、v を z に近づける。人間の棋譜も定石も使わない。よく考えた自分と結果だけが先生だ。これは囲碁やチェスで人間を超えた AlphaZero と同じやり方。
「1局打つ」を押すと、AIが自分と1局打ち、そこから先生の答えができるまでを見せます。行を押すと、その時の盤が出ます。
06 微分と勾配
28,424個の数字を、どっちへ動かせばいいのだろう。
05のズレ L を小さくしたい。一つ一つの数字をほんの少し動かしたら L がどれだけ変わるか（傾き）を、微分で全部いっぺんに計算する。そして坂を下る向きに、少しだけ動かす。これを何百万回もくり返す。
右は、頭の1段目にある128個の「見張り」の数字を、盤の形に並べたもの。赤は「そこに自分の石があると強く反応する」、青は「あると反応がおさえられる」。つまみを100局から100万局へ動かすと、でたらめな細かい模様が消えて、ところどころに縦・横・ななめの線のような形が浮かんでくる。
下のグラフは、実際の学習のズレ。100万局を過ぎても下がり切らないのは、自分が強くなると、相手（自分）も強くなって問題が難しくなるから。
07 観測
頭の中で何が起きているか、外から調べられるだろうか。
答えが1つに決まる問題を400問ずつ作り、途中で保存した頭に先読みなしで答えさせた。「すぐ勝てる所を取る」「相手の勝ちを止める」「相手の勝ちマスの真下に置かない」、それと「形勢（勝ちそうか負けそうか）の向きが合うか」。
論文の方法の頭（10で説明）は、2,000局で「止める」を覚えた。シンプルな頭は180万局まで調べても、直感では5割に届かない（先読みを足せば止める）。「まんなか」はどちらも2,000局で見つけた。形勢を見る力がいちばん遅く、最後まで伸び続けている。
問題はでたらめに打った変な盤で、頭が自分の対局ではまず見ない形。「見慣れない盤での直感」を測っている。
08 統計とばらつき
「強くなった」を、どうやって確かめるのだろう。
学習している頭とは別のプログラムが、保存された頭を拾って、決まった相手と戦わせる。でたらめ、1手よみ、4手・7手・10手先まで全部読む相手。それと、最後まで読み切ってある530局面での「正しい手を選べた割合」。
対戦の勝率には運のブレがある。200局の勝率が50%でも、本当の強さは±7%くらいの幅のどこかにある。だからグラフは1回の上下ではなく、線の向きを見る。
シンプルな頭（84→128→128）は、10万局あたりで正解率がほぼ止まった。ここがこの頭の大きさの天井。天井を上げるには、10の「形を見る頭」が必要だった。
09 最適化の落とし穴
学習がうまくいかないと、何が起きるのだろう。
① 記憶が短い 直近1,600局ぶんしか覚えずに4つのコアで速く回したら、30万局を過ぎたあたりから弱くなっていった。最近の自分の打ち方にだけ詳しくなり、少し前の打ち方への対処を忘れた。
② 相手を混ぜる 昔の自分や4手よみを練習相手に混ぜたら、4手よみ相手の勝率が0%まで落ちた。同じ形が、弱い相手には勝ち、強い相手には負けになり、「勝ちそう度」が濁った。
③ 歩幅の不具合 学習を止めて再開するたびに、Adam の「これまでの向き」の記憶を捨てていた。すると再開直後の一歩が、本来の3.16倍になる。同じ向きの傾きが続くと、10歩目あたりでは6倍を超え、元の大きさに戻るまで千歩ほどかかる（右のグラフ）。
3つとも直して、いちばん簡単な形（記憶を長く・相手は自分だけ・1コア）でやり直したのが08の記録。
10 畳み込み
同じ時間で、もっと強くなる方法はないだろうか。
シンプルな頭は、84個の入力をばらばらに見る。「左下の3つ並び」と「右上の3つ並び」を、別々に覚えなければならない。
畳み込みの頭は、3×3の小さな窓を盤の上ですべらせ、どこにあっても同じ形を同じように見つける。論文（AlphaZero のコネクト4の手引き）と同じ作りを小さくした頭（約40万個の数字）で学ぶと、4万局で、100万局のシンプルな頭に79勝13敗6分。このMacで約4時間だった。この作りで学んだ頭を、このページでは「論文の方法の頭」、84→128→128 の頭を「シンプルな頭」と呼ぶ（どちらも相手は自分だけ）。対戦画面の「Lv5 名人」が論文の方法の頭、「Lv1〜Lv4」がシンプルな頭。
右の窓は「横に2つ並んだ自分の石」に反応するように手で作ったもの。本物の頭は、こういう窓を64枚ずつ9段、自分で作り出す。
11 ゲーム理論
どれくらい「完璧」に近づいたのだろう。
論文の方法の頭（4万局・1手ごとに先読み200回）を、完全読み切りと戦わせた。相手は、正解の手が複数あればその中からくじで選ぶ。
先手で50局、50勝。打った1,050手すべてが正解で、どの局も41手目に勝った。ところが後手（相手が完璧なら必ず負ける側）では、平均26.2手で負けた。完璧に粘れば41手目まで持つ。
右で実際の対局を1手ずつ見られる。盤の上の数字は、その時の完全読み切りの答え。AIの手が正解の手（緑の枠）に入っているかを見よう。
12 対照実験
負けが決まっていても、粘ることはできるだろうか。
05の先生は「勝ったか負けたか」しか教えない。すると負けの盤はどれも −1 で、すぐ負ける手も40手粘る手も同じ値になる。後手が弱いのはこのせいでは、と考えた。
そこで頭に3つめの出口「あと何手で終わるか」を足し（チェスのAI Leela Chess Zero と同じ考え）、4万局の頭の続きを8,000局学ばせた。先読みでは、負けそうなら長く続く手を少しだけ好む。同時に、比べるための頭も作った。同じ4万局の頭から、同じ8,000局・同じ設定で、「あと何手」だけを教えない頭だ。
結果は右のとおり。比べるための頭のほうが、長く粘った。伸びたのは「あと何手」のおかげではなく、続きを8,000局学んだことそのものだった。
比べる相手を作らなければ、「工夫が効いた」と思いこむところだった。これを対照実験という。続きの8,000局でなぜ伸びたのかも、同じやり方で確かめた。学習の歩幅を元のまま（0.002）にした頭②は33.0手。局数を増やしただけでも伸び、歩幅を半分（0.001）にするとさらに伸びた。
完璧に粘っても41手目で負ける（空の盤の点数 +1 の意味）。先手では、頭②だけが50戦49勝1分（1,050手のうち1手だけまちがえた）で、ほかの頭は50戦50勝。
13 大学で学ぶこと
この先には、どんな研究があるのだろう。
このページでしたことは、全部、世界の研究の小さな写しだ。自分と戦って学ぶ（AlphaZero）、出口を増やして学びを助ける（KataGo、Leela Chess Zero）、頭の中を外から調べる（07）。
コネクト4は完全に解かれているので、「本当の正解」と比べられる数少ない実験場になっている。2026年にも、完全読み切りの答えを少しだけ混ぜて教えると、正解の手の割合が 78.5% から 84.9% に上がった、という研究が出ている。
おわりに
この実験は、ひとつの質問から始まった。
とある若者の学校でノートと鉛筆でやるコネクト4が、すごく流行っていた。
そこで、「どうしたら、もっと強くなる？」と相談された。
その若者は、完全読み切りがあることを知っていた。でも「そこにはロマンがない」と言った。
正解の手を知るより、なぜその手が強いのかを読み解くことが大切だ、と。
だからこのページは、正解を出すだけで終わらせなかった。ルールしか知らないAIを自分とだけ戦わせて、何を・いつ覚えるのかを全部記録した。対戦の解説も、正解の手だけでなく、なぜそうなのかを盤の決まりで書いている。読み解けたことは、人間の練習でもそのまま使える。