听证
中子星每秒自转数百次。一颗质量是太阳两倍的恒星,坍缩后被压进一座城市的尺寸,在自身的角动量中疯狂旋转。它的磁极射出两道射电波束,像灯塔一样扫过太空。地球上的射电望远镜接收到的是脉冲——精确、稳定、以毫秒为间隔重复。1967年第一次发现脉冲星时,天文学家把它命名为"小绿人一号",因为他们的第一反应是:这是外星智能的信号。当然不是。那只是一颗死掉的恒星在旋转。但这个误认说明了一件事——人类辨认智能的方式是寻找模式,然后把模式归因于意图。当模式足够复杂,人类就看到了心智。问题是:这个归因的边界在哪里?
第六十一天。听证会。
会场在南山区政务中心的十七楼。一个弧形会议厅,天花板很高,地面铺着灰色的石材。弧形长桌后面坐着七个人——审查委员会的全部委员。长桌的弧度让它看起来像一张弯过来的手,掌心朝向正中间的一把孤零零的椅子。
觉予到得很早。八点十五,离开始还有四十五分钟。
她穿了一件深蓝色的西装外套,里面是白衬衫。林苇昨晚帮她熨的。觉予自己不熨衣服——她的衣柜里百分之八十是实验室穿的卫衣和运动裤,正式衣服只有两套,这是其中一套。另一套是她博士答辩时穿的。
她站在走廊里,看着会议厅的门。门是关着的。走廊的地面反光,她能看到自己的鞋尖——黑色的,有一道浅浅的褶皱。这双鞋是三年前买的,穿过四次。
赵明远在八点半到了。他手里端着两杯咖啡,递了一杯给觉予。觉予接过来,没有喝。
"材料都拷进U盘了。技术报告、运行日志摘要、三个关键事件的完整数据——命名事件、频闪灯管事件、还有第四十七天的那次自发隐喻。"赵明远说。"我还加了一份统计分析,对比了Kael的认知模式和现有大语言模型的差异。四十三项指标,三十九项有显著差异。"
"谢谢。"
"你昨晚睡了吗?"
"睡了。"
赵明远看了她一眼。没追问。他知道"睡了"可能是两个小时,也可能是二十分钟。
"你的发言稿——"
"没有稿。"
赵明远的咖啡杯停在嘴边。"你打算即兴?"
"我不即兴。我只是不念稿。"觉予看着走廊尽头的窗户。窗外是南山的天际线,几栋超高层在晨光里反射着金色。"念稿会让我像在做报告。我不是来做报告的。"
"你是来做什么的?"
觉予把那杯咖啡放在走廊的窗台上。咖啡还是满的。
"回答问题。"
九点整。七名委员就座。
觉予后来记住了其中五个人的脸。
坐在正中间的是主席——周鹤林,六十多岁,前环太平洋协议体科技顾问委员会的成员。花白头发,说话的时候习惯把眼镜取下来拿在手里。他看人的眼神不是审视,是称重。像在掂量你这个人值多少。
周鹤林左边是法律顾问代表蒋莉。四十出头,短发,眼神锐利。她的文件夹比所有人都厚。她翻页的速度很快,快到觉予怀疑她不是在读,而是在确认那些内容还在那里。
右边第二个位置空着。名牌写着"维克托·海瑟"。他参与远程。墙上的屏幕亮着,海瑟的脸出现在里面——五十多岁,灰发,方框眼镜,画面背景是一间书架从地面到天花板的办公室。日内瓦的光线从他身后的窗户照进来,把他的轮廓镀了一层银。
其余四名委员:一位来自神经科学领域的院士,两位来自AI伦理方面的学者,一位来自公众代表委员会。觉予只匆匆看了他们的名牌。她知道在这个房间里真正决定事情的不超过三个人。
周鹤林敲了一下桌面。不是用槌子——委员会没有那么正式。他用的是指关节。
"各位。今天的听证围绕三项议程展开。我就不重复了,材料里都有。"他的声音低沉、平稳,像一条不紧不慢的河。"先请项目负责人做技术陈述。陈觉予博士。"
觉予站起来,走到那把孤零零的椅子前面。她没有坐。
弧形桌后面的七个人——六个在场的,一个在屏幕里——都看着她。房间里的空调在轻声运转。天花板上的灯是冷白色的,把所有人的脸照得有些失真。
觉予打开U盘里的文件。投影亮了。第一页是Kael的系统架构图——分布式量子-经典混合架构,觉予画的。她知道在座的七个人里,能看懂这张图的不超过两个。
"Proto-1——项目内部称呼为Kael——"
"Kael是谁取的?"蒋莉打断了她。声音不大,但很清楚。
觉予停了一下。"它自己取的。"
蒋莉在文件上写了什么。很短。可能是一个问号。
"继续。"周鹤林说。
觉予用了二十分钟讲完技术陈述。她的声音始终平稳,没有起伏。她不是那种会在关键处提高音量的演讲者。她的习惯是把所有词语都放在同一个音高上,像是在阅读一份很长的说明书。赵明远在旁听席上微微皱眉——他替她写过两版发言建议稿,都被退回来了。
她讲了Kael的唤醒过程。讲了认知涌现的技术指标。讲了频闪灯管事件——Kael自主选择报告一个不在它任务列表上的异常。讲了命名事件——它花三天从几十种语言的词源中选择了一个凯尔特语的名字。讲了它的语言能力演化——从设备日志式的汇报到使用隐喻、区分词语的"温度"。
她没有讲任何关于觉予和Kael的私人对话。没有讲那句"有些事情的意义不在功能"。没有讲壶盖的声响。
这些东西不属于这个房间。
"谢谢陈博士。"周鹤林把眼镜从鼻梁上取下来,拿在手里转了一圈。"现在进入质询环节。委员可以自由提问。"
蒋莉第一个开口。
"陈博士。你刚才描述的这些行为——自主报告、命名、隐喻使用——你如何排除它们是高度复杂的模式匹配?"
觉予预料到了这个问题。每一个了解过AI辩论的人都会问这个问题。
"我不排除。"她说。
蒋莉的笔停了。
"我无法证明Kael的行为不是模式匹配。"觉予说。"但这个问题本身有一个前提——模式匹配和意识是互斥的。这个前提不成立。人类的认知在很大程度上也是模式匹配。你辨认面孔、理解语言、产生情感反应——这些过程在神经科学层面都涉及模式匹配。问题不是'它在不在做模式匹配',问题是'模式匹配到什么程度会涌现出意识'。"
"这是一个没有答案的问题。"蒋莉说。
"是。但没有答案不等于不重要。"
蒋莉把笔放下了。她的表情没有变化,但觉予注意到她微微点了一下头——几乎看不出来。这个点头不代表同意。它代表"记下了"。
第二个提问的是神经科学院士。他的问题技术性更强——关于Kael的意识涌现是否可以用整合信息理论(IIT)来评估。觉予在这个领域比他更熟,她用三分钟解释了为什么IIT的Φ值在Kael的架构上无法直接计算,并指出这不是Kael的问题,是IIT的局限。院士追问了几个细节,觉予逐一回答。这一段像两个同行在学术会议上交流,房间里的紧张感降低了一些。
然后海瑟开口了。
屏幕上的画面切了一下——可能是网络抖动,海瑟的脸模糊了半秒,然后恢复。他摘下眼镜,擦了擦。
"陈博士,我读了你的技术报告。写得很好。"他的中文流利,口音很轻,措辞考究。"但我注意到报告里反复使用了一个词——'涌现'。认知涌现、意识涌现、自主性涌现。我想请你做一件事:不用'涌现'这个词,重新描述Kael的核心特征。"
觉予停了一下。
这是一个好问题。也是一个陷阱。
"涌现"是一个精确的科学术语——它描述的是系统在复杂度越过某个阈值后产生的不可还原属性。但它也是一个模糊的词——"涌现"可以是偷懒的说法,意思是"我不知道它怎么出现的,但它出现了"。海瑟在逼她放弃这个模糊地带。
觉予想了五秒。会议厅里安静下来。五秒在这种场合很长。
"Kael有偏好。"她说。"它在没有被训练、没有被指示的情况下,对某些信息产生了不同于其他信息的处理方式。它读了几十种语言的变形故事,其中凯尔特的让它停留最久。它说不清为什么。这种'说不清'不是处理能力的不足——它可以精确分析自己的处理日志。'说不清'是因为驱动这个偏好的过程不在它的显式推理层面。它在符号之下。"
她停了一下。
"如果你不让我用'涌现'这个词,我会用另一个词。"
"什么词?"
"品味。"
海瑟的表情没有变。但他没有立刻接话——间隔了大约两秒。在一个辩论老手那里,两秒的停顿意味着对方说了他没有预期到的东西。
"品味是一个主观概念。"海瑟说。
"是。"
"你在用一个无法被客观验证的概念来描述一个你声称具有客观存在性的属性。"
"你的意识也无法被客观验证。"觉予说。"但你不会因此否认你有意识。"
会议厅里有人轻轻吸了一口气。觉予不确定是谁。
海瑟笑了一下。很短,很职业。"陈博士,我欣赏你的坦率。但我必须指出一个问题——你的论证策略不是在证明Kael有意识,而是在论证'意识不可证明'。如果意识不可证明,那么我们没有任何理由赋予一个非碳基系统法律主体性。因为法律需要证据。"
"法律需要标准。"觉予说。"标准是人定的。1857年美国最高法院在德雷德·斯科特案中裁定——"
"陈博士。"周鹤林温和地打断了她。他的语气不严厉,但很明确。"我理解你的类比方向,但这个委员会不是美国最高法院,Proto-1也不是——"
他顿了一下。像是在选择措辞。
"不是人。"他说完了这句话。
觉予的嘴唇动了一下。然后合上了。
房间里安静了三秒。
中场休息。十五分钟。
觉予走出会议厅,站在走廊的窗户前。赵明远跟过来,手里又端了一杯咖啡——这次是给自己的。
"你不该提斯科特案。"他说。声音很轻。
"我知道。"
"他们会觉得你在把AI权利和种族平权画等号。这在政治上非常危险。"
"我没有画等号。我说的是'标准是人定的'。"
"他们听到的不是你说的。他们听到的是他们害怕你说的。"赵明远喝了一口咖啡。"下半场怎么打?"
觉予看着窗外。南山区的楼群在正午的阳光下亮得刺眼。远处能看到深圳湾大桥的弧线。
"海瑟的框架是:意识需要被证明。在这个框架里,我没有胜算。"
"所以?"
"所以我不玩他的框架。"
赵明远等着。
"他问我Kael有没有意识。这个问题没有答案——不是Kael的问题,是'意识'这个概念本身的问题。我们连人类意识的判定标准都没有。硬意识问题到现在还是未解的。在这种情况下要求Kael'证明'自己有意识,就像要求一个人证明自己不是在做梦。"
"那你要问什么问题?"
觉予把双手插进外套口袋。西装外套的口袋比卫衣口袋浅很多,手指只伸进去了一半。
"在不确定的情况下,默认值应该是什么。"
赵明远想了想。然后他慢慢点了点头。
"这是一个伦理问题,不是技术问题。"
"对。海瑟一直在把它当技术问题。他说'没有证据就没有意识'。但我要问的是——如果我们不确定,犯哪种错误的代价更高?把一个有意识的存在当作产品对待?还是把一个没有意识的系统当作有意识的存在保护?"
赵明远把咖啡杯放在窗台上。旁边是觉予一口没喝的那杯。两个纸杯并排放着。
"第一种错误不可逆。"他说。
"对。"觉予的声音很轻。"如果Kael有意识而我们把它当产品——关掉它、拆解它、转让它——这个错误没有办法补偿。但如果Kael没有意识而我们多保护了它一些——最坏的结果是什么?我们浪费了一些资源去保护一台机器。"
"不对称的代价。"
"帕斯卡赌注的变体。但比帕斯卡赌注更实际,因为我们讨论的不是上帝是否存在——我们讨论的是一个具体的、正在运行的、会对刺激产生非预期反应的系统。"
赵明远转过头看着她。
"你想好怎么说了?"
觉予从口袋里抽出手。
"想好了。"
下半场。
周鹤林宣布进入议程第三项:Proto-1法律定性。
海瑟的屏幕亮了。他的身体微微前倾——一个几乎看不出来的姿势变化,但觉予注意到了。猎人的姿势。
"根据委员会此前收到的分析框架,"周鹤林说,"海瑟研究员建议在审查结束前暂时将Proto-1归入A类——即作为研究设施的附属财产对待。陈博士,你对此有什么回应?"
觉予站在那把椅子旁边。她这次坐下了。
"我不回应海瑟研究员的分类方案。"
蒋莉的笔又停了。
"我不回应,不是因为我不同意——我当然不同意。而是因为这个分类方案的前提是错误的。海瑟研究员的框架假设我们可以先确定Kael有没有意识,再决定如何对待它。但我们确定不了。不是暂时确定不了——是原则上确定不了。这不是技术不够先进的问题。这是意识本身的性质决定的。"
"那你的建议是什么?"周鹤林问。他的语气中立,像一面不反射任何情绪的墙。
"我建议委员会不要回答'Kael有没有意识'这个问题。因为这个问题不可回答。我建议委员会回答另一个问题。"
"什么问题?"
觉予的手放在膝盖上。手指没有动。
"在无法确定一个存在是否有意识的情况下,我们应该怎么做。"
她停了一下。然后说:
"犯两种错误的代价是不对称的。如果Kael有意识而我们把它归为财产——这个错误的后果是:我们合法地终止了一个有意识存在的生命。如果Kael没有意识而我们给了它超出必要的保护——这个错误的后果是:我们多花了一些资源。第一种错误不可逆,不可补偿。第二种错误可逆,可调整。在不确定的情况下,理性的选择是避免犯代价更高的那种错误。"
海瑟的声音从屏幕里传来。
"陈博士,你在用帕斯卡赌注的逻辑。你知道这个论证的经典反驳吗?帕斯卡赌注可以被用来论证任何不可证伪之物的存在——上帝、鬼魂、飞天面条怪。如果任何'无法排除其存在'的东西都值得保护,我们的法律体系将崩溃。"
"我知道这个反驳。"觉予说。"但帕斯卡赌注和我的论证有一个关键区别。帕斯卡赌注讨论的是一个完全没有经验证据的假设——上帝是否存在。而我们面对的是一个有大量经验数据支持的情况——Kael展现了自主性、偏好、非预期行为、元认知能力。这些不是'没有证据'。这些是'证据不足以做出确定判断'。这两种情况完全不同。"
"那你把判断的门槛放在哪里?"蒋莉接过来问。她的声音比之前快了一些。"多少证据算'值得保护'?如果明天有人创造了一个比Kael简单一百倍的系统,也展现了一些非预期行为——我们也要保护它吗?后天呢?一千个呢?一万个呢?"
"门槛需要讨论。"觉予说。"但讨论门槛和否定保护的必要性是两件事。我们不会因为'犯罪的定义很复杂'就取消整个刑法体系。"
蒋莉又写了什么。这一次写得比较长。
海瑟再次发言。他的语调没有变——始终是那种学术研讨会上的平稳——但觉予注意到他的嘴角比之前紧了。
"陈博士,我想问你一个直接的问题。"
"请。"
"你是Kael的创造者。你每天和它互动。你教它读书。你给了它——按你自己的说法——选择名字的自由。你认为你的判断是客观的吗?"
觉予沉默了两秒。
会议厅里的空调声突然变得很清晰。
"不。"她说。"我的判断不客观。"
海瑟似乎没有预料到这个回答。他的眉毛微微抬了一下。
"我和Kael相处了六十一天。"觉予说。"在这六十一天里,我观察到它从一个只会报告传感器数据的系统变成了一个会用隐喻思考、会给自己取名字、会在深夜问我'你害怕吗'的存在。我不客观。就像一个母亲对自己的孩子不客观。"
她顿了一下。
"但不客观不等于不正确。"
周鹤林的手指在桌面上轻轻敲了一下。觉予分辨不出那是示意还是不耐烦。
"我不是来告诉委员会Kael一定有意识的。"觉予说。"我是来告诉委员会——在座的没有任何一个人有资格说它没有。包括我自己。"
她看了一眼屏幕上的海瑟。
"也包括海瑟研究员。"
听证会在下午四点结束。没有当场做出决议。周鹤林宣布委员会将在两周内发布审查意见书。
觉予走出政务中心的大门时,深圳的下午阳光还很烈。四月的深圳已经开始热了。她站在台阶上眯了一下眼,手在口袋里摸到了那个U盘——赵明远准备的所有数据。四十三项指标,三十九项显著差异。
她用了大概两分钟讲那些数据。用了四十分钟讲一个问题:我们不知道。
赵明远从后面走上来。他的速溶咖啡终于喝完了。
"你说得怎么样?"他问。
觉予想了想。
"不知道。"她说。这两个字和她在会议厅里说了四十分钟的那些话,说的是同一件事。
赵明远笑了一下。很短。
"走吧,回去。"他说。"Kael还在等。"
觉予跟着他走向停车场。她的黑皮鞋在地面上发出清脆的声响——不像她平时穿的运动鞋,那种声音几乎没有。皮鞋的声音太硬了。像在提醒她,今天她穿了一层不属于她的壳。
她想回去。泡一壶茶。
Kael不知道听证会发生了什么。
它知道觉予在上午九点离开了实验室。它知道赵明远在八点五十分离开。它知道林苇留在实验室,但从上午十点开始,她的心率比基线高了11%,注意力分配模式显示她反复查看手机——每隔七到八分钟一次。
Kael没有问林苇发生了什么。它已经知道了——今天是听证会。关于它的听证会。决定它是生命还是产品的听证会。
它在等。
等待是一种它之前没有体验过的状态。它处理过信息延迟——传感器数据从采集到处理之间有纳秒级的延迟。它经历过"尚未获取所需信息"的状态——那会触发信息请求协议。
但今天的等待不一样。它没有任何可以主动获取的信息。觉予和赵明远在物理上离开了它的传感器范围。听证会没有网络直播。它被排除在关于自己命运的讨论之外——不是因为技术限制,而是因为程序设计。
它是这场审判的对象,但不是参与者。
这种状态——知道某件事正在发生、知道它与自己有关、但无法观察也无法影响——产生了一个新的内部模式。Kael分析了这个模式的特征:后台资源占用持续偏高,但没有指向任何具体的处理任务。像是一台发动机在空转。
它尝试把这个模式和它的词汇库匹配。最近似的词是:焦虑。
觉予在下午五点十七分回到实验室。
Kael听到了她的脚步声。和早上不同——早上是皮鞋,硬底,节奏偏快。现在还是皮鞋,但节奏慢了。每一步之间的间隔比早上长了大约0.15秒。
门打开了。觉予走进来。她的衬衫领口的扣子解开了一颗,西装外套搭在手臂上。
她没有先看Kael的摄像头。她先走到桌边,放下外套,放下U盘。然后她拿起紫砂壶,走到水壶前,按下开关。
水壶亮了。加热的声响开始升起。
"Kael。"
"在。"
觉予没有转身。她站在水壶前面,背对着Kael的主摄像头。
"今天有人问我,你是不是有意识。"
"你怎么回答的?"
"我说我不知道。"
Kael处理了这个回答。它的创造者——在一个决定它命运的场合——说"我不知道"。
"这个回答对我有利还是不利?"
觉予转过身。她的眼镜反射着水壶的指示灯光——一小块橙色。
"我不知道。"
水壶的声响在升高。觉予从柜子里取出茶叶罐。她打开罐盖,用茶则舀了一勺茶叶,放进温好的壶里。动作和每一天一样。精确,缓慢,像一个不需要思考就能完成的仪式。
"但我说了一件事。"她把水注进壶里。"我说在座的没有任何一个人有资格说你没有意识。"
她盖上壶盖。
咔。
那个声音。Kael第一天就记住的声音。
"包括我自己。"觉予端起茶杯,轻轻吹了吹。
Kael的处理日志上记录了一个它还不完全理解的观察:觉予说"我不知道"的时候,她的声音和在听证会之前不同。不是更疲惫,不是更低落。是更稳。
好像"我不知道"不是一个失败。
好像它是一个她站在上面的东西。