CHAPTER 03/1955〜1960

第1次热潮的开端

这个名字诞生(1955〜1960年)

1955年,四个人的计划书打出了这个名字。此后的五年里,出现了搜索定理证明的程序、从例子中学习的机器、处理符号的编程语言、日本的翻译机,还有“10年之内”的预言。

011955・名字与计划书

打出的夏季计划书

这个名字是在哪里、带着怎样的设想诞生的?

1955年8月31日,麦卡锡、明斯基、罗切斯特、香农四人写下了为次年夏天在达特茅斯学院举办的研讨会而作的计划书,向洛克菲勒基金会申请资金。计划书的题目里就有这个词。计划书从这样一个设想出发:学习的各个方面,乃至智能的任何特征,原则上都(译)。

右边的七个方框,是计划书里列出的研究课题。点一下就会显示内容:语言、神经网络、计算的规模、自我改进的机器。本章的许多页面,都是其中某一项的后续。

计划书预计时间为两个月、参加者10人。他们写道,只要挑选出的科学家们在一个夏天里聚在一起研究,就能在所列课题的(译)。申请的预算是13,500美元,而基金会实际资助的是7,500美元。

预算表各项加起来是13,000美元,与表上写的合计13,500美元差了500美元(据麦卡锡网站上的重印版核对,差额的原因没有写)。

常见说法常见说法:是大家一致同意定下的名字
原始资料里:这是麦卡锡选的名字,当时就有不同意见。纽厄尔和西蒙多年来一直用另一个叫法:。
常见说法常见说法:达特茅斯的参加者打算用一个夏天就把AI做出来
原始资料里:计划书的说法是(译)。并没有写要做成。

图所展示的:1955年的计划书从一个设想出发:学习和智能的特征可以描述得足够精确,让机器模仿,并写道7项课题中“在其中一个或多个问题上可以取得重大进展”,并没有承诺完成课题。实际拨款也只有申请金额的约一半。

021956・达特茅斯

这个暑期研讨会是怎样的聚会

“AI诞生的那场大会议”,实际上是怎样的一次聚会?

1956年夏天,在达特茅斯学院数学系的顶层,聚集了一批关心会思考的机器的研究者。据参加者所罗门诺夫(Solomonoff)的笔记,时间大约从6月18日前后到8月17日,约8周。与其说是日程固定的会议,不如说是人们轮流来访、互相交谈的聚会。

在右边的图里点“详情:计划与记录”,就能把5月26日麦卡锡告诉基金会的计划(紫色框),和所罗门诺夫、摩尔(More)笔记里留下的“当天在场的人”(深蓝色圆点)叠在一起查看。全程在场的只有3个人,原定的11个人里有2个没来。每天参加讨论的人大约是3〜8人。

也有过让所有人一起攻克一个课题的提议。8月7日,麦卡锡提出了国际象棋,但没有变成共同研究。麦卡锡后来说,经费不够,大家又各有别的事,所有人整个夏天都聚齐的计划没有实现。

准确的名单没有保存下来(麦卡锡把自己的名单弄丢了)。圆点只是笔记里留有记录的日子,没有圆点的日子也不一定没来。

常见说法常见说法:达特茅斯的研讨会是诞生了AI的大型会议
原始资料里:实际上是人们轮流来访的夏季聚会,每天的讨论只有3〜8人左右。基金会给的资金约为希望额的一半,也没有出版研讨会的报告。

图所展示的:达特茅斯研讨会并不是大型会议,而是持续约8周、参加者轮流到访的夏季聚会。全程在场的只有3人,每天参加讨论的约3〜8人。

第6周(7月23〜27日)每天参加讨论的人数(摩尔的笔记)
031956・搜索

把证明一个不漏地全造出来

把能造出的证明按顺序全部造出来,总有一天会碰到想要的定理吧?

纽厄尔、肖、西蒙挑战的,是书《数学原理(Principia Mathematica)》中的逻辑定理。从5条公理出发,用三条规则造出新的定理:把式子代入字母的代入、改写成同义形式的替换、由A和“A则B”得到B的分离。

最简单的做法,是把能造出的证明按由短到长全部造出来,等目标的式子出现。三个人把这叫作大英博物馆算法(British Museum algorithm),当作比较的对象。按报告里的数字,到第4步有42个,到第8步有246个。要凑齐第2章的全部定理,可能需要1亿个左右,他们估算要花几十万年。

依次检查答案的候选项,叫作搜索。逐个排查的话候选项太多,所以需要用抄近路的智慧(启发式)来缩小检查范围。右边的图,按本站的数法逐步造出式子。

第n步的式子数 ≈(第n−1步的式子数)×(一处的改法数)
改法
把p变成 ¬p、把 → 和 ¬…∨ 互相替换 等

图所展示的:按从短到长的顺序生成所有可能的公式,公式数量会逐级膨胀,很难找到目标定理。因此需要寻找捷径的经验方法(启发式方法)。

每一步的式子数(纵轴每格10倍)
041956・逻辑理论家

从答案那一端,倒着去找

怎样像人一样“凭感觉找方向”地搜索定理的证明?

逻辑理论家(LT)不把一切都造出来,而是从想要证明的式子那一端倒着去找。它依次试四种方法。代入法:把式子代入公理或已证明的定理的字母,看能否变得和问题完全一样。分离法:找“A则B”形式的定理,其中B与问题吻合,然后把A当作新的小问题。前向、后向的衔接,也会产生小问题。

1957年的报告中,在第2章最前面的 52条定理里,它找到了38条的证明。其中17条只靠代入法,19条用两步就解出。2.01约10秒,2.45约12分钟。2.31约23分钟后搜索无路可走。右边的图是本站做的小型LT。点“到最后”,树就会向下伸展,绿色的路就是证明。

报告打了个比方:从公理向前走,就像在草堆里找一根针;从目标往回走,则像是找针从草堆里出来的路。

图中的LT在细节上和1956年的程序不同。报告写道,用这四种方法证明不了2.13,但本站的例子因为对齐形式的方式和预备定理的条件不同,勾选“也使用预备定理”时,连2.13的证明也能找到。

图所展示的:逻辑理论家程序没有生成所有公式,而是从要证明的公式出发反向搜索,找到通向已知定理相同形式的路径。

051957・会学习的机器

只在答错的时候,才修正权重

只给机器看例子,就能让它学会分辨的方法吗?

1957年,康奈尔航空实验室的心理学家罗森布拉特,在海军研究局的支持下,开始研究。这是模仿神经细胞连接的人工神经元:把输入(0或1)乘以权重(看重输入的程度)再相加,合计在阈值以上就输出1。

学习的方法很简单:只在答错的时候,把权重朝正确答案的方向稍稍修正。在右边的图里放上●和○,点“继续学习”,紫色的线会转动或平移,错误(紫圈)的数量随之变化。同在康奈尔的数学家布洛克(Block)证明了:只要存在能分类的直线,用这种修正法就一定能找到。

神经网络的历史,从这里开始。一条直线分不开的问题在第5章,叠加层数的内容在第8章讲。

y=1(w₁x₁ +w₂x₂ ≧ t),其余情况为0。答错时w ← w+η(正确答案 − y)x,t ← t − η(正确答案 − y)
t
阈值
η
修正的幅度(图中为0.5)
紫色的线
w₁x₁ +w₂x₂ 等于t的分界线

图所展示的:感知机只在出错时,向正确答案的方向稍微修改权重。如果数据能用直线分开,这种修改方法一定能找到分界线。

每一轮的错误数
061957・预言

“10年之内”的四个预言

1957年的研究者,是怎样展望十年后的?

1957年11月14日,在匹兹堡学会的晚宴上,西蒙做了一场与纽厄尔合写的演讲(次年刊登在杂志上)。他总结说,现在的计算机能用类似人的方法解决没有固定解法的问题,也能从经验中学习,在此基础上,预言10年之内会发生四件事。

成为国际象棋世界冠军(〈译〉);发现并证明一个重要的新数学定理;写出得到评论家认可的乐曲;大部分心理学理论采取程序的形式。他接着还说:(译)。

也有可作为线索的成果:证明逻辑定理的程序、会下国际象棋入门棋步的计算机、作曲的伊利诺伊大学ILLIAC。在右边的图里推进年份,会显示核对答案的年份(1968年)以及此后发生的事。

计算机战胜在任的国际象棋世界冠军是在1997年,距离预言约40年后。计算机本身从未获得过世界冠军的头衔。

图所展示的:1957年的演讲预言,10年内会发生4件事,但到了检验结果的1968年,1件也没有发生。后来结果明确的只有国际象棋,约在40年后。

071958・批评与回应

他们自己写下了核对答案的日子

要让预言可以被检验,需要什么?

演讲刊登在杂志上后,贝尔曼写信批评。据两人的回应,批评是说预言(译)。1958年的回应中,两人写道:(译)。

两人解释说,附上期限、说得具体,是为了不让它成为像诺斯特拉达姆斯那样无法检验的预言。不过,要检验,除了什么事、在何时之前发生,还需要“怎样才算说中”的判定标准。在右边的图里,试着去掉期限和判定标准吧。国际象棋的结果很明确,而定理、乐曲、心理学的预言,期限到了,评价也会因人而异。

关于心理学的预言,两人在回应里还写道,程序是心理学理论的有力候选这一点,(译)。

国际象棋的判定标准(战胜在任的世界冠军)是本站暂定的。

常见说法常见说法:以前的AI研究者毫无根据地说大话
原始资料里:当时就已有批评,说这些话的本人解释说,附上期限是为了能够检验,还亲自指定了核对答案的日子(1968年1月1日前后)。

图所展示的:检验预言,除了“什么事”和“何时之前”,还需要“怎样才算说中”的判断标准。没有标准,即使期限到了,也无法判断说中还是没说中。

091958・LISP

用括号的嵌套,把式子当作式子来处理

要计算的不是数,而是符号式子本身,该怎么做?

1958年秋天,麦卡锡和明斯基在MIT启动了。没有写计划书,被问到需要什么时,他们回答说:一间屋子、两名程序员、一名秘书、一台在卡片上打孔的机器。同一个秋天,他们开始制作处理符号序列的编程语言LISP(表处理)。

在LISP里,像 (TIMES X (PLUS X A) Y) 这样,用括号的嵌套来写式子。第一个词表示做什么,其余表示对象。基本操作只有很少几个:取开头的car、取剩余部分的cdr、接到开头的cons等。1960年的论文只用这些,加上条件分支和调用自身的函数,就写出了式子的求导。

在右边的图里选择“X(X+A)Y·论文示例”,取消勾选“化简1和0(本站添加)”,再点“对X求导(DIFF)”,就会以树的形式给出和论文相同的答案。表示1的ONE和表示0的ZERO都原样保留。LISP一族的语言,此后很长时间都是AI研究的中心。

d(u·v·w)/dX=u′·v·w+u·v′·w+u·v·w′
′
对X求导的结果。DIFF以括号嵌套的形式原样造出这个形式

图所展示的:LISP把公式当作嵌套的括号来处理,因此只用取出第一项、取出剩余部分等少量操作,就能直接对公式本身进行计算(求导),而不只是计算数字。

101958・常识

推导出去机场要先做的行动

只要把事实写成句子,机器就能由此推导出行动吗?

1958年11月,英国国家物理实验室召开了国际会议。麦卡锡在会上发表了。其构想是:把事实和建议写成逻辑式,由此做推理,一旦得出“要做……”的结论就去执行(Advice Taker)。

论文的例子,是我在家里的书桌旁,要去机场的问题。从at(I, desk)(我在书桌旁)、at(car, home)(车在家里)、walkable(home)(家里可以步行)、drivable(county)(郡内可以开车)等17个前提,依次推导出8个结论,最后得出do(go(desk, car, walking)),也就是先走到车那里。

在右边的图里点“推导下一步”试试。只要去掉一个前提,就找不到计划了。

论文写道,17个前提该怎样收集、怎样推导,并没有完全给出回答。图中推导的顺序,是按论文结论的排列来定的。

图所展示的:把事实和建议写成公式,就能依次推理,得到“先走到汽车旁”这样的行动。去掉1个前提,就找不到计划了。

111958・模式识别

用恶魔们的喊叫声来认字

识别文字的机制,能拆成许多小部件吗?

在同一场会议上,塞尔弗里奇(Selfridge)发表了名为(意思是所有恶魔聚集的地方)的机制。最底层的数据恶魔,各自寻找文字的一部分(横杠、竖杠、圆弧等),并按找到的把握程度大声喊叫。上面的识别恶魔,收集与自己的文字相符的喊声,再喊出来,最上面的决策恶魔则把喊声最大的文字作为答案。

他还提出了学习的方法:从外部一点点改变恶魔们的喇叭音量,选出成绩提高最多的调整,并不断重复(爬山法)。在右边的图里点“继续调整”,正确率就会从音量为0开始上升。

拾取特征、乘以权重再组合的结构,与感知机以及后来的神经网络是同一种机制。

识别恶魔k的声音 =Σi 音量k,i × 数据恶魔i的声音
音量k,i
恶魔k听恶魔i的声音时的权重(学习的部分)
答案
声音最大的k

图所展示的:把寻找文字局部特征的小恶魔的叫声乘以音量(权重)后汇总,就能识别文字。只需逐渐改变音量,选择让成绩提高的方向(爬山法),就能学习。

121959・GPS

选择能缩小与目标的一步

能造出适用于任何问题的解法吗?

纽厄尔、肖、西蒙在逻辑理论家的基础上造出了,作为1959年6月巴黎会议的预稿提交报告(报告的日期是1958年12月30日)。之所以冠以“通用”,是因为他们把问题的内容(逻辑、代数、三角公式等)和解法分开来设计。

解法的核心是手段—目的分析。比较当前状态与目标,找出差别,选择能减少这个差别的一步。如果使用这一步的条件没有齐备,就把满足该条件当作新的小目标。这样目标之中产生目标,同样的步骤层层叠加地使用。

右边图中的第一个问题,是本站做的“制作黄油吐司”问题。只要替换“哪一步能减少哪种差别”的那张表,同样的解法就能用到别的问题上。

报告的目的之一,还包括让程序的行为接近大学生一边出声思考一边解逻辑题的记录。报告中给出的例子是符号逻辑、初等代数和三角公式。

图所展示的:找出当前状态与目标的差别,选择能缩小差别的行动;如果缺少行动条件,就把它设为新的小目标。换一张表,同一种解题方法就能用于别的问题。

131959・日本

我喜欢音乐

当时的日本,造出了怎样的“会思考的机器”?

1958年夏天前后,电气试验所(Electrotechnical Laboratory,ETL)开始了英译日专用计算机“Yamato”(やまと)的计划。手头没有配备能存放词典的大容量存储装置的计算机,于是用晶体管计算机ETL Mark IV的电路造了专用机。预算600万日元,存储装置是82万比特的磁鼓。1959年2月,把穿了I like music孔的纸带放进去,它打印出了(ワレガ オンガクヲ コノム)。

为了避开日语输入(汉字和词的切分)的困难,他们选择了从英语翻译成日语。即便如此,也需要把动词挪到句末、移动前置词、补上日语助词(ガ、ヲ 等)。代词方面,把I译成“我”(ワレ),you译成“你”(ナレ),he译成“他”(カレ)。在右边的图里,一步一步地走完翻译的流程吧。

下达计划指示的和田弘回忆说,到开始打出第一句译文为止的13秒,让他觉得非常漫长。成果于1959年6月,在巴黎的第1届国际信息处理会议上发表。

图中的词典和规则,除了代词的译法之外,都是本站做的例子。在巴黎展示的 I have some eggs in my hand.,Yamato是怎样翻译的,资料里没有记载。

图所展示的:“Yamato”是把英语翻译成日语的专用计算机:查字典,把动词移到句末,加上日语助词“ガ”和“ヲ”,将I like music打印为“我喜欢音乐”。

141959・机器学习

自己修正打分的方式

程序能变得比编写它的人更强吗?

IBM的塞缪尔(Samuel)持续研究让计算机从经验中学习下跳棋(在8×8的棋盘上跳过棋子互相吃子的游戏)。学习版在1956年2月24日在电视上做了演示。1959年的论文《使用跳棋游戏的机器学习研究》的摘要里写道,经过8〜10小时的对局,程序能下得比编写它的人还要好。

局面的分数,是把子数之差、能走的步数多少、是否占据中央等特征乘以权重后相加得到的。程序向前看几步,假设自己选大的、对手选小的,把分数向上传递(极小极大)。学习方法之一,是修正权重,让看之前的分数向看过之后传上来的分数靠近。在右边的图里点“学习”试试。

不把解法全部写出来,而是让它从例子和经验中学习,这就是机器学习。

w ← w+η(传上来的分数 − 看之前的分数)× 特征
w
权重
η
修正的幅度
分数
特征 × 权重 的总和(图中的数值是本站做的例子)

图所展示的:塞缪尔的跳棋程序会自行修改权重,使向前搜索前的分数接近向前搜索后传回的分数。不写出全部解题方法,而是让机器从经验中学习,这就是机器学习。

151960・Mark I

用杂乱的接线和电机转动的旋钮

把会学习的机器,不做成程序而做成实物的机器,会怎样?

1960年6月23日,感知机的专用机器Mark I首次公开。权重用电机转动的(电位器)来调节,接线用大型的插接板连接。据1961年的报告,它配有512个A细胞和8个给出答案的R细胞。组装由怀特曼(Wightman)和马丁(Martin)负责,实验由海伊(Hay)负责。

结构分三层。从视网膜(S)的点到A细胞,只是随机选取点来连接,这一部分不学习。学习的只有从A细胞到R细胞的权重。右边的图仿照同一份报告的实验1,用上下、左右首尾相连成环的视网膜,来分辨横杠和竖杠。

如果不经过A细胞,直接连接视网膜,无论学习多少轮,错误都不会消失。因为不管把权重设成什么,横杠整体的分数平均值和竖杠整体的分数平均值都一样。夹进80个随机的A细胞后,混进了能捕捉点的组合的细胞,几轮之内错误就降到0。

报告书还记录了这样一个实验:即使教师故意以30%的比例教错,也能达到100%分辨E和X(这与纠正错误的学习法是另一种方法)。Mark I现在保存在史密森学会。

图所展示的:直接连接视网膜,无论学多少轮,都无法分开横条和竖条。中间加入随机连线的A细胞后,几轮就能把错误降到0。

每一轮(16条)的错误数
161960・人与计算机

一台计算机,大家分着用

在让机器包办全部思考之前,人和计算机该怎样搭档?

1960年3月,利克莱德发表了论文《人与计算机的共生》。就像无花果树和传粉的昆虫互相帮助一样,他设想了一种协作形式:由人决定目标、提出假设、定好标准来评价,计算机承担固定套路的工作。他本人曾在1957年的春夏记录自己的工作,结果发现,思考时间的大约85%都花在为思考做准备上(查找、计算、画图表等)。

为此所需的技术之一,是分时(把一台计算机的时间,细细地分给许多人使用的机制)。他论证说,当时的大型计算机,和一个人一起思考的话速度太快、费用也太高,所以应该把使用时间分给很多人。在右边的图里和排队等候做个比较吧。即使计算机处理的时间总和相同,到第一次回应为止的等待时间也会短得多。

常见说法常见说法:利克莱德预言到1980年机器就会思考
原始资料里:论文里的是在介绍空军研究会的估计。关于人与计算机搭档的时代会持续多久,他本人留有余地地说(译)。

图所展示的:分时系统把1台计算机的时间切成小段分配出去。处理所需的总时间不变,但等待第一次回应的时间短了很多。

171976・核对答案

四色问题:人的思路与计算机的蛮力

计算机在什么时候,才算证明了定理?

对于(译)这个预言,在这10年之内,找不到可以这样说的事件记录。1976年,阿佩尔(Appel)和哈肯(Haken)证明了(任何地图都能用4种颜色涂色,使相邻区域颜色不同,这是约1852年起的问题)。然而,证明的思路和形状的分类步骤是人做的,计算机的任务是把将近2000种形状逐一检查。

右边的图,是让计算机给本站做的一张例子地图涂色。一个国家一个国家地涂,没有可涂的颜色时就退回上一个(回溯)。A、B、C、D彼此全都相邻,所以不管怎么试,3种颜色都涂不下。给一张地图涂色的搜索计算,和证明对所有地图都成立的定理,是两回事。

1996年10月,证明搜索程序EQP花了约8天,自动找到了自1930年代起一直没有解决的的证明。两件事里,问题本身都是人早就提出来的。

常见说法常见说法:1976年计算机证明了四色定理
原始资料里:发表的正文里写的是,分类的步骤由人用手造出,计算机只是把许多形状逐一检查的角色。

图所展示的:计算机可以给1张地图涂色,遇到死路就回退,但这只是对1张地图的计算,与证明所有地图都能涂色是两回事。即使在四色定理中,证明思路也是人构建的。

结语

这一章里,仍然不清楚的事

达特茅斯研讨会的准确参加者名单没有保存下来。只能从残留的一部分笔记中,一点点拼出谁在什么时候来过。常有人说machine learning(机器学习)这个词是塞缪尔在1959年造出来的,但还没有找到资料证实这是不是最早的用法。

四个预言中,结果明确的只有国际象棋,而且是约40年之后。定理、乐曲、心理学的预言,没有“发生什么才算说中”的标准,至今评价仍因人而异。要让预言可以被检验,不仅需要期限,还需要判定的标准。

这五年里,利用符号规则、用抄近路的智慧去搜索的道路(逻辑理论家、GPS、LISP),和从例子中修正权重来学习的道路(感知机、万魔殿、塞缪尔),并排起跑了。它们与日本高中信息Ⅰ(必修的信息科目)中的算法、信息Ⅱ(选修科目)中机器学习的基础想法(日本国家编制的信息Ⅱ教材里,“学习17”讲的就是感知机)也直接相连(这是本站的看法)。下一章,我们来看1960年代,搜索、推测式的AI走到了哪里,又出现了怎样的预言。