AI HISTORY/PRIMARY SOURCES × PYTHON

AI全史

从“会思考的机器”之梦,到能写文章的AI。近400年的挑战,让我们动手玩一玩、跑一跑、查一查

我们逐件打开与AI有关的论文、书籍和当时的报道等原始资料,共 667份,一件一件地核对,并用 146个程序把其中的原理亲手实现了一遍。

课本上的一行字背后,藏着让人兴奋的真实故事。那些有名的故事,我们都回到说话的人写的书、论文和当时的报道去核对。
原理可以通过拖动图、运行Python,亲手验证。哪一章都可以先读。

01第01章・总览

热潮是一波一波的,编号是怎么来的

“第1~4次AI热潮”的编号,是谁、在什么时候加上的?

AI的历史上,有期待膨胀的时期(热潮),也有期待消退的时期(寒冬),不止一次。可是,热潮有多大,我们看不见。所以本站统计了英文书、世界各国论文和日本书籍的标题,以及日本国会发言中,这个词每年被用了多少次,来观察波的形状。

右边的图用的就是这些真实数据。国会发言里表示AI含义的“AI”(全角字母“AI”)一词,在2019年形成一座山峰,随后回落,到2023年超过了之前的山峰。不过,数法不同,形状也会变。只用“AI”这两个字去搜,连 AIDS 和 AIG 都会数进去。所以我们一件一件看了内容,定下标准,重新数了一遍。

“第1~4次”这种编号,是日本常用的数法。在英文书里,被编号的不是热潮,而是。1985年的国会上,有人说明。

常见说法常见说法:是明斯基和尚克警告过的词
原始资料里:1984年那场讨论会的记录显示,明斯基并不在发言人之列。这个词是作为“将来可能出现的最坏局面”的名字冒出来的。
进入本章 →

图所展示的:热潮的大小和形状会随统计方式改变;而且,把热潮编号为“第1〜4次”主要是日本的做法,英语中则是给寒冬编号。

02第02章・〜1955年

会思考的机器之梦,与计算机器

是从什么时候开始被认真追问的?

1637年,笛卡尔写下了两种分辨“像人的机器”的方法。1770年的“下棋机器”,里面其实藏着一个人。1843年,洛夫莱斯为分析机写下了注释。在江户时代的日本,人们制作了机关人偶。

1936年,图灵提出了一种只靠纸带和规则表进行计算的机器的设想。在右边的图里打开1936年的箱盖,就能看到用这台机器给二进制数加1的例子。读写头读取纸带上的字符,查表改写,再向左或向右移动一格。他认为,任何计算,都可以写成这种简单动作的组合。

1943年,麦卡洛克和皮茨把大脑的神经细胞(神经元)表示成开关:把输入加起来,达到或超过一定的值就“发火”。这就是神经网络的起点。接着在1950年,图灵把“机器能思考吗”(译)这个问题,换成了模仿游戏。

常见说法常见说法:骗过30%的评委就算通过
原始资料里:图灵的论文里没有这条标准。他本人写的,是对大约50年后的一种展望。
进入本章 →

图所展示的:“机器能思考吗?”这个问题并非在1950年突然出现:1637年笛卡儿写下辨别人形机器的方法后,300多年来,人们不断制造和设想由人偶、齿轮、卡片、纸带和开关组成的“看起来在思考的机器”,但查看内部,就会发现藏着人,或只是固定的步骤(表格、齿轮、卡片、规则表、开关)。1950年,图灵不再查看内部,而是把问题换成了能否只通过文字交流辨别机器的“模仿游戏”。

03第03章・1955〜1960年

这个名字诞生了

做错了就自己修正的机器,学到了什么?

1955年,在夏季研讨会的计划书里,用上了这个名字。计划书里写的并不是要在一个夏天里做完,而是有望在一个或几个问题上取得很大进展。

1958年,美国海军向记者展示了罗森布拉特的感知机。它试了大约50次,就学会了分辨卡片上的记号在右边还是左边。在右边的图里让它看看卡片吧。只有答错的时候,才修正有记号的那些格子的权重。最后看权重的分布,就会明白:机器并不认识“右”“左”这些词,它只是学会了哪些格子投票给哪一边。

差不多同一时期,西蒙和纽厄尔做出了“10年之内,计算机将成为国际象棋世界冠军”(译)等预言,还亲手写下了对答案的日子。

常见说法常见说法:达特茅斯会议的人们打算在一个夏天里完成AI
原始资料里:计划书里写的是有望在一个或几个问题上取得很大进展。
进入本章 →

图所展示的:感知机并不知道“右”和“左”是什么意思,只是在出错时修改权重,学会各个格子该给哪一边投票。即使看过约50张卡片,权重板上留下的也只是“答错的卡片叠加起来的结果”。

每5张卡片的错误数
04第04章・1960年代

搜索与推理,以及大预言

要找到迷宫的出口,怎样找才快?

第1次AI擅长的,是解决迷宫、拼图这类规则明确的问题,办法是搜索。1968年的A*,会在已经走过的路程上加上到终点的估计距离,再选出下一个要查看的地方。在右边的图里,比较“不用估计”“A*”“把估计放大3倍”这三种搜索吧。估计得合适,就能用较少的搜索找到最短路线。估计放得太大,搜索虽然快,却不再是最短的了。

1966年的ELIZA,只是找出关键词、按规则改写句子,看上去就像在和人对话。1968年,日本公开了读取邮政编码的机器。

大预言也出现了。1965年,西蒙写道:(译)。

常见说法常见说法:西蒙预言20年内机器会抢走人的全部工作
原始资料里:原论文接着说,这只是对技术能力的展望,至于怎么使用,没有说任何话。
进入本章 →

图所展示的:搜索时加上到终点的估计距离,就能用较少的格子找到最短路线;估计值过大时,查看的格子会更少,但找到的路线可能不再最短。只需调节1个估计值滑块,就能亲自感受这种“收益”和“代价”的分界。

05第05章・1966〜1980年

第1次热潮之后的寒冬

美国、英国、日本的,是在同一年来的吗?

人们说,那是期待落空、研究经费减少的时代。1966年美国的机器翻译报告、1969年的书《感知机》、1973年英国的莱特希尔报告,一个接一个出现。

可是在右边的图里把三个国家的事件并排一看,就会发现寒冬到来的方式各不相同。在日本,1971年启动了国家大计划。1972年的联想器(Associatron,由局部想起整体)、1979年的新认知机(位置偏了也能识别形状)等,与今天的AI相通的神经网络研究也诞生了。拖动“当前年份”,即使是同一年,不同资料也会给出“繁荣”“没有寒冬”等不同的答案。

这一章里,我们会运行19种原理,比如一条直线的墙(XOR)、组合爆炸、口语的束搜索(beam search)、对齐声音快慢的DP匹配、找出脸部各个部分的方法。

常见说法常见说法:1974~1980年是AI的寒冬,研究停滞了
原始资料里:ACM的AI分会会员,在 1973~1978年间几乎增加到3倍。是不是,取决于拿什么当尺子。
进入本章 →

图所展示的:“寒冬”发生在什么时候,会随参考资料所用的衡量标准大幅改变。在同一时期,日本却开始了大型计划和神经网络研究。

06第06章・1975〜1990年

把专家的知识写进去

把排起来,能做到什么,做不到什么?

第2次热潮,是从把专家的知识写成的AI(专家系统)开始的。从1972年开始的MYCIN,是帮助选择感染病用药的研究。它把规则和确信度(有多大可能是真的)结合起来,被问到“为什么?”时,会把用到的规则拿出来回答。

右边的图用同一套原理来判断自行车的状况(不提供医学建议)。点击切换已知的情况,能用的规则就一条接一条地起作用,结论和确信度随之改变。对于规则里没有的症状,它什么也答不出。补写知识的辛苦,成了这种方法的极限。

在日本,1987年仙台市的地铁开始运行,采用的是混合使用模糊规则的模糊控制。

常见说法常见说法:第2次热潮的过头,是研究者夸下海口的错
原始资料里:1984年的一篇报道说,多数研究者是来谈小小的进步的,表现得好像梦想已经实现的,只是一部分带来展品的公司。
进入本章 →

图所展示的:规则从已知的信息出发,接连发挥作用,得出结论,也能说明理由。但对于规则没有写到的事,机器什么也答不出来。

07第07章・1979〜1995年

日本的第五代计算机

国家的大计划,瞄准的是什么,留下了什么?

1982年,日本启动了一项以推理和知识处理为核心的新型计算机计划。因为是继元件世代(电子管、晶体管、IC、LSI)之后的一代,所以取名为。世界为之震动,英国和美国也启动了大计划。

核心工具是逻辑程序设计语言Prolog。把事实和规则排好,它就能通过推理回答问题。在右边的图里,从家族的事实出发,找找看“祖父母”“堂表亲”吧。查事实的次数,就是推理所花的功夫。1992年的并行推理机PIM/p,每秒能做1亿5600万次推理。

在最终评估里,推理速度的目标超额完成了,可是和人对话的系统,没有做到。是不是,要看把什么当目标,评价就会不同。

常见说法常见说法:第五代失败了
原始资料里:最终评估写的是。把什么当目标,评价会有所不同。
进入本章 →

图所展示的:只要列出事实和规则,就能通过推理回答问题。不过,亲戚关系越远,查找事实所需的工作就越多。

08第08章・1987〜2005年

第2次热潮之后的寒冬,与悄悄长大的新芽

层层叠起来的神经网络,是怎样学习的?

专家系统的生意走下坡路,第2次AI寒冬来临。这期间,从数据中学习的技术在悄悄成长。1986年,用反向传播法训练多层神经网络的论文发表在《自然》(Nature)上。

右边的图展示了带隐藏层的网络学会XOR的过程。把输出的误差从后面的层传回前面的层,一点一点地修正权重。一层学不会的XOR,叠上几层就能解决。下面的图表里,误差在不断减小。

差不多同一时期,还诞生了能记住长上下文的网络(LSTM,1997)、在数据之间画出最宽的路来分隔的支持向量机(1995)、通过自我对战学习的西洋双陆棋程序(1992)。

常见说法常见说法:反向传播法是辛顿发明的
原始资料里:早在1986年的论文之前,其他研究者也各自独立地发现过。日本的甘利俊一在1967年也发表了一点点修正误差来学习的理论。
进入本章 →

图所展示的:1层网络无法画出XOR的分界,但叠加网络层,让误差从后往前传递并修改权重,就能逐渐画出分界。

误差的大小
09第09章・2006〜2012年

自己从数据中学习

只靠记住大量例子,就能对新数据分类吗?

有了大量数据和GPU,把神经网络叠成很多层的AI(深度学习)一下子变强了。在2012年的图像大赛上,它以巨大的优势获胜。可是,它用到的许多工具,早就在一点点成长了。这一章会把最小二乘法(1805)、贝叶斯、主成分分析、k近邻、k-means、决策树、SVM、随机森林、奇异值分解、强化学习等机器学习的方法,一个一个地运行起来。日本的林知己夫的数量化、赤池弘次的AIC、大津展之的二值化也都介绍到了。

右边的图展示的是其中的一种:k近邻。先记住带有正确答案的点,再让新点周围的k个点投票,多数的一方就是分类结果。把k设为1,训练数据会全部答对,但是连噪声也一并记住,遇到新点就容易出错(过拟合)。把数据分成训练数据和测试数据来检验,是这个时代思想的核心。

常见说法常见说法:2006年辛顿发明了新想法
原始资料里:那一年的论文本身就写着:深层网络应该有用,这一点从1980年代起就很明显。
进入本章 →

图所展示的:把k设为1,记住的点都能答对,却连噪声也记住了,面对新点时容易答错。所以要把数据分成训练集和测试集来检验。

10第10章・2012〜2019年

围棋、将棋与工作的预言

胡乱一路下到底,为什么就能知道哪步棋好?

AI在围棋和将棋上战胜了一流职业棋手,“工作会消失”的预测成了全世界的话题。日本也掀起了AI热潮,“第3次”的叫法传开了。这一章也会把深度学习的工具(自编码器、GAN、word2vec、物体检测、迁移学习、ResNet等)一个一个运行起来。

让围棋变强的关键之一,是蒙特卡洛树搜索(2006)。走了某一步之后,胡乱地一路下到终局,下很多遍,用获胜的比例来比较各步棋。右边的图是井字棋。把试下的次数增加,好棋的胜率就会变得清楚。AlphaGo(2016)在此基础上,又加上了从人类对局中学习的神经网络和自我对战。

在日本,2015年日本信息处理学会宣布,计算机将棋顶尖职业棋手。

常见说法常见说法:AlphaGo是完全靠自己学习变强的
原始资料里:2016年战胜李世石的那个版本,也是先以人类的对局为范本学习,然后才通过自我对战变强的。
进入本章 →

图所展示的:即使用随机的走法,只要重复足够多次,哪些好棋更容易获胜就会清楚地显现出来。

11第11章・2017〜2022年

能写文章、能画画的AI

写文章的AI,在“看”哪些词?

从2017年的论文提出的结构(Transformer)出发,能写文章、能画图的AI发展起来,并在2022年以人人都能用的形式登场。

这个结构的核心之一是。句子里的某个词,要用数字来决定对其他哪些词关注多少。在右边的图里,切换一下提问的词吧。“吃了”会强烈地关注是谁吃的(猫)和吃了什么(鱼)。这些数字是本站做的小例子,不是真正的AI的数值。

写文章的AI用这个结构算出下一个词的概率,一个词一个词地选下去。

常见说法常见说法:ChatGPT用2个月就有了1亿用户
原始资料里:这不是公司发布的数字,而是银行的分析师根据网站访问量推算出来的估计。
进入本章 →

图所展示的:一个词要关注句中哪些其他词、关注多少,都是用数字决定的。“吃了”会关注谁吃了(猫),以及吃了什么(鱼)。

12第12章・2023年〜

等待对答案的预言

把直线延长,就能知道未来吗?

现在出现的预言,很多都建立在“这种规律今后也会持续”的前提上:AI越做越大,性能就越高。右边的图,把训练AI所用的计算量(Epoch AI的数据),用每格10倍的刻度排了出来。用到某一年为止的点画一条直线,再往后延长,就是对未来的预测。移动画线的年份,预测的节奏就会改变。

预言不只会落空。2022年,两位研究者预测AI会不会在2025年之前,在数学奥林匹克中拿到金牌分数,而2025年7月,这件事发生了。另一方面,国际报告写道,现在的大型AI内部发生了什么,连制造它的人也几乎读不懂。

第4次热潮之后会不会有寒冬,现在还不知道。这一章不给答案,只把材料摆出来。

进入本章 →

图所展示的:用截至哪一年的数据点画直线,会让预测的未来速度大幅改变。把直线延伸得到的预测,前提是原有条件今后仍然持续。

13第13章・总览

波、预言地图与尚不清楚的事

AI的预言,说的是多少年以后?

最后,我们把本站的记录本身当作数据来研究。右边的图是预言地图。横轴是做出预言的年份,纵轴是说“到这一年为止”的年份。为了区分靠得很近的点,把它们稍微错开,再用细线连到原本年份的位置。如果原本年份的位置在“现在这一年”的那条线以上,就是那一年还没有到来的预言。

有一项著名的研究(2012)认为,AI的预言多数是15~25年以后。可是,那篇论文的第1页上,现在有一条注释写着(译)。数法和收集的方法不同,答案就会不同。

国家教材里,也有顺藤摸瓜、发现形状变了的预言。,原本是2005年一本书里关于计算速度的展望图。

常见说法常见说法:新技术一定会走“期待的山峰
原始资料里:失望的低谷 → 趋于平稳”这条路 → 研究者核对调查公司的图是不是真的按那样发生,发现和该公司自己的记录也对不上。每次都是同一种走势,是排在一起看起来如此,并不是什么固定的规律。
进入本章 →

图所展示的:有研究认为,AI预言常常指向15〜25年后的未来,但这项研究也被加上了数据错误的说明。统计方式和收集方式会改变答案。

结语

下一页,由你来写

AI的历史,是一群梦想着会思考的机器的人,将近400年的挑战记录。有时比想象的更早到达,有时比想象的更遥远。每一次,总有人做出新的工具,下一个人用它再向前走一步。

在这个网站上,我们把有名的故事,回到说话的人的书和论文去核对。你可以动手玩图,改写Python代码,亲手把同样的原理运行起来。哪一章引起了你的兴趣,就从哪一章自由地读起吧。

预言地图上,有很多还在等着对答案的预言。2030年、2045年……。见证这些答案的,是现在还是高中生的你们。而写下下一个预言、下一项发明的,也一定是你们当中的某个人。