图灵测试

定义

图灵测试指的是一类以对话行为为判断依据的智能检验方式:提问者与若干看不见的对象用文字交流,其中有的对象是人、有的是计算机程序,若提问者不能稳定地指出哪一个是机器,就认为该程序在测试中取得了成功^[1][5]。它的判定依据是外部可观察的回答,而非机器的内部结构或运算方式^[6]。

图灵提出这一设想,是为了回避「机器能否思考」中「机器」与「思考」两个词含义不清的问题,改用一个含义更明确的替代问题:是否存在能在模仿游戏中表现良好的数字计算机^[7][8]。因此,图灵测试既是一种实验设计,也被理解为关于机器智能的一种思想实验^[1]。

在中文文献中,该测试通常被称为图灵测试,英文作 Turing Test,其前身是图灵论文中所称的模仿游戏(imitation game)^[2][9]。

原理

原始设想的模仿游戏有3名参与者:一名提问者,以及分处两室的另外两人,三者只能通过打字设备通信。提问者需要通过提问判断两室中哪一间是男性、哪一间是女性,而被问者之一要设法让提问者判断错误^[1][2]。图灵随后把其中一方换成计算机,并追问替换之后结果会如何^[6]。

测试的判据不是回答是否正确,而是回答在语言风格、常识运用、情绪反应等方面是否与人的表现难以区分^[7]。由于交流限于文本,外貌、声音等信息被排除,判断只能依赖文字内容本身^[10]。

图灵在1950年的论文中给出了具体的量化预期:约50年后,存储容量约$10^9$的计算机可以被编程到在模仿游戏中表现良好,以至于一般提问者在提问5分钟后正确识别的概率不超过70%^[7][11]。后世常见的「30%以上误判即算通过」等说法,即由这一预期换算而来^[12]。

由于图灵本人对执行细节着墨不多,后续实践衍生出多种变体:有的采用一问一答的两方比较,有的延长对话时间,有的设定不受限制的话题,也有研究要求提问者同时与1台机器和1名真人分别对话后再作判断^[10][13]。

发展历程

1948年,图灵在题为《智能机器》的文章中已提出以机器参与棋类等智力活动来考察机器的设想;1950年,他在英国哲学期刊《心》(Mind)上发表《计算机器与智能》,正式给出模仿游戏的表述,并提出用「机器能否思考」的可操作替代问题来展开讨论^[6][14]。这篇论文被广泛视为机器智能最早的系统的科学论述之一,后来「图灵测试」这一名称才逐渐通行^[2]。

1960年代中期,麻省理工学院人工智能实验室的约瑟夫·魏泽鲍姆编写了早期对话程序 ELIZA,它依靠模式匹配和回复模板模仿心理治疗师的谈话方式,能够在一定程度上让使用者误以为在与真人交流,但程序并不理解对话内容^[5][15]。ELIZA 后来常被用作讨论图灵测试时衡量程序水平的参照^[4]。

1990年,美国人休·勒布纳与马萨诸塞州的剑桥行为研究中心合作发起勒布纳奖(Loebner Prize),这是持续时间最长的一类图灵测试竞赛,形式是评委同时与一个程序和一名真人进行文字对话,再判断何者为人^[16]。该竞赛设有年度奖项,并为能够通过不受限制的图灵测试的程序设置了更高额的一次性奖金,后者始终没有颁出^[16]。竞赛在不同年份于雷丁大学、达特茅斯学院、伦敦科学博物馆、布莱切利园等地举办,2019年改变了形式,2020年起未再举办^[17]。

2014年6月7日,英国雷丁大学在伦敦皇家学会组织了一场竞赛,聊天程序尤金·古斯特曼(Eugene Goostman)伪装成一名13岁的乌克兰男孩,在每次5分钟的文字问答中使33%的评委认为它是人,主办方据此宣布图灵测试首次被通过^[12][18]。这一结论随即引发争议,有学者指出5分钟的对话难以深入,该程序此前在时间更长的同类竞赛中排名并不靠前,认为其成绩依赖于设定特殊身份以规避追问^[12][19]。

2023年,加利福尼亚大学圣迭戈分校的研究者通过公开网络平台组织了一次对照测试,让参与者同时与1台机器和1名真人对话后判断身份。结果显示 GPT-4 被判为人的比例为41%,GPT-3.5 为14%,低于 ELIZA 的27%,而真人被正确识别的比例只有63%^[4]。此后,同一团队以更严格的三方同时对话、5分钟限时等条件复现原始设计,报告 GPT-4.5 被误判为人的比例达到73%,LLaMa-3.1-405B 为56%,而 ELIZA 与 GPT-4o 分别只有23%和21%^[10][6]。相关论文的结论也提示,当测试条件更严格时,大语言模型的通过率会明显下降^[13]。

应用

图灵测试最初的角色是评估机器智能的基准,在很长时间里被视为人工智能研究的参照目标,早期不少对话系统即以通过该测试为设计导向^[3]。

在对话系统研发中,该测试所强调的「交流是否自然、是否被人接受」成为评价聊天机器人、客服机器人体验的一种思路:研究者认为,这类测试可以考察系统在与用户互动时表现出的社交适应能力^[4]。

在学术与科普层面,勒布纳奖一类的竞赛和大学的公开测试活动,为比较不同时期对话系统的水平提供了可对照的场景,也使「机器能否冒充人」成为公众讨论人工智能时常用的切入话题^[16][12]。

局限

该测试考察的是外部行为表现,而非是否真正理解或具有意识。哲学家约翰·塞尔在1980年提出中文屋论证,设想一个不懂中文的人依据规则手册操作中文符号,从外部看其回应与懂中文者无异,但房间内并不存在对中文的理解,以此说明按规则处理符号不等于拥有心智^[20]。

测试容易被策略性回答绕过。早期依靠模式匹配的对话程序和以特殊身份设定规避追问的做法,都可能在缺乏真正理解的情况下取得较高成绩,这使「通过」与「具备智能」之间的对应关系受到质疑^[15][19]。

判定标准也缺乏统一规范。提问内容、对话时长、评委构成都会影响结果,判断带有主观性,不同测试之间难以直接比较,可重复性有限^[3][15]。有批评指出,通用的图灵测试只涉及简短文字对话,难以覆盖推理、常识、感知与行动等其他能力^[3][19]。

从研究取向看,以模仿人类为目标可能要求系统放弃运算速度和信息检索方面的长处,与当前人工智能追求实用功能的方向并不完全一致,因此不少研究者已不再把通过该测试作为目标,并提出了多种替代或补充的评测方案^[3][4]。

参见

• 中文屋论证 —— 塞尔提出的思想实验,用以质疑依据行为判断机器是否具有理解力。

• ELIZA —— 1960年代的早期对话程序,常被作为图灵测试讨论中的参照对象。

• 勒布纳奖 —— 1990年起举办的对话程序竞赛,采用图灵测试形式评奖。

• 大语言模型 —— 依靠海量文本训练的语言模型,是近年图灵测试实验的主要受试对象。

• 艾伦·图灵 —— 图灵测试的提出者,英国数学家与计算机科学先驱。