身边的技术-政治学：生成式人工智能带来的信任危机

1）信任不来自于技术自身，而是来自人与人的交心

9月1日，国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》要求使用AI工具进行创作的个人用户和企业，生成的文本、图片、音视频等内容应在合理位置添加“AI生成”或类似的显著文字提示。而早在这项规定发布之前，笔者就感受到了由于生成式AI带来的信任危机。

那是笔者应邀写一篇命题作文，写作时完全没有用ai辅助，但初稿交给编辑，编辑反馈AI味太重。这样的烦恼，对于需要面对毕业论文AI率检查的大学生，更加闹心。网上已有不少招数，据称可以帮助大学生降低AI率。而大学生则会通过降低AI率的工具，甚至手动将论文改得没有那么有逻辑，来避免被AIGC检测判定为论文AI生成。同时AIGC检测服务厂商也无法只通过提高检测的准确性，来确保公平性。AIGC带来的信任危机，让学生落入三体中人人自危的“黑暗森林”状态。

而这样的信任危机，恰恰对应了吴冠军在《再见智人：技术-政治与后人类境况》中写的“信任问题无法倚靠技术迭代来加以解决。信任是政治智慧的一个根基性的创制。大语言模型的信任问题，实则根植于人彼此之间的信任问题。”

该书的封面，模仿文艺复兴的代表人物达芬奇的名画“维特鲁威人”，原作因为比例精准，被后世视为男性的完美比例，画作中传递的，更是文艺复兴所推崇的，将人作为万物的度量方式。而将原作中的男性人类，换成一个钢铁打造的机器人，则对应了该书的核心话题，即当算法代替人，来衡量人的价值时（例如之前论述的那般），我们将何去何从。

回到AI写作的话题，该不该使用AIGC来辅助写作，这从来不是一个非黑即白的过程。存在很多可能的用法，例如写完一份报告，之后想交给大模型来判断是否包含文法错误，并让大模型输出一份修改后的版本；让大模型将文中分成多个章节，给每个章节给出小标题，或者让模型对文章给出开放式的修改建议。不同的用法，对应不同的自主决策程度，而按照知名的经济学家、投资者维克拉姆·曼沙拉玛尼在他的《主见》一书中提到，我们需要综合多重视角寻求解决方案，再自主判断如何使用专家意见。

对于AI给出的建议，我们更应当这样有选择地接受。下次你使用大模型辅助写作时，你可以先让大模型去扮演不同文化背景，不同预设观点的专家，例如一个支持你文中的观点，你希望他帮助你完善论证，一个质疑你文中的结论，你可以从其反馈中找出可能的问题。之后再由你自己来判断该听那一个的建议。关键是要让自己而非大模型做决策，大模型提出了修改建议，给出了多个候选标题，但做决定的一定要是写作者。

前文谈论了个人使用大模型写作的建议，而若是集体使用大模型进行创意写作，尽管个体创意增加，群体多样性降低[1]。之所以会出现这一现象，背后的原因可参考吴冠军另一本书《爱、谎言与大他者：人类世文明结构研究》提到的“破框式”批判，即“真正的批判，永远是对框架本身的挑战，而不是对内容的增减”。或许大模型适合在细节上删改，但缺少对认知框架本身的认知，这导致了从集体效果来看，反而扼杀了多样性的种子。这也是为何要强调在写作中要让读者时刻握紧方向盘的意义。

这一节讨论了当群体不加批判地使用大模型时，可能会削弱人与人的信任。这想要重建信任，需要的不止是技术提供者，而是个人要主动听取多种声音，再自主进行判断。不要号称把AI当工具，实际却是成为大模型的副驾驶。而在社会层面，又该如何重建由于引入AI后丢掉的信任了？吊诡的是：我们需要人工智能成为“可信任的人工智能”，然而若人工智能真的做到了向人类的价值观“对齐”，那么，它恰恰因为结构性原因，无力使自身彻底变得“可信任”。

2）平台的困境，内容审核与安全使用的权衡

如今各家大模型平台，都推出了用户创建的智能体，其中不少是用户自我根据小说或影视剧创建的，然而开启这种玩法先河的美国初创公司Character.AI，却由于被称为世界上首场AI杀人案的官司，以及之后的应对而身陷亏损陷阱。从这个案例出发，我们将看到构建可信任AI时将会面对的两难局面。

豆包类似Character.AI的用户自建大模型智能体

自2022年9月上线以来，已有上亿用户登录Character AI的网站。用户在Character.AI 上，可以创建自己角色的AI机器人，并分享自创的机器人给其它用户使用。这些用户创建的AI机器人会讲笑话，会编故事。用户可创建完全不受限制的 AI 角色，例如小说中的人物，大科学家等。这样强娱乐性的互动，让Character.AI迅速积累了大量付费用户。

2024 年 10 月，美国佛罗里达州一位名叫 Megan Garcia 的母亲提起了一桩被媒体称为首个AI杀人案的诉讼，她14岁的儿子Sewell Setzer因其聊天机器人进行大量互动后自杀。Garica指控 Character.AI 推出了一款疏忽且鲁莽的产品，对她的儿子造成了情感和性虐待。

在诉讼公开后，多家调查机构对Character.AI进行了深入调查，发现该网站托管了一系列令人担忧的、可被未成年人访问的机器人：包括用户培养的恋童癖机器人、鼓吹饮食失调的机器人、美化自残和自杀的机器人，以及模拟真实校园枪击事件的机器人。最令人担忧的是，扮演枪击事件真正受害者的聊天机器人。

在该案件后，Character.AI调整了其后台算法，结果是聊天机器人变得千篇一律，与之对话的人物性格也如同沙漠一样干涸。这些机器人如此害怕冒犯他人，以至于它们变得像缩在壳里的乌龟一样胆小。这让其流失了大量用户，陷入亏损。

Character.AI的失败，初看是商业案例，但其背后却投出技术带来的两难。当我们谈起如何避免AI失控时，常说的解决方案是做好价值对齐，仿佛只需要让大模型知道人类重视的价值，对符合人类价值的输出给予奖励，就能避免AI做出伤害人类的事。然而前述的悲剧事件说明，不必等待AGI通用人工智能的出现，只需要当下聊天机器人的技术水平，只要允许用户进行个性化的创作，就有可能对用户造成伤害。

究其根本，价值对齐的不足，在于人类的价值是多样的，易变的。《再见智人》中写道“人工介入归根结底无力完成“价值对齐”的任务——该工程结构性地是一个失败的工程。因为在现代性的境况下，“价值”本身是多元的、充满矛盾的、彼此冲突的，而非连贯性的、整体性的、系统性的”。

例如Character.AI最初关注的价值是为用户提供有趣的体验，让用户能和各种各样的虚拟人进行对话，鼓励用户用户创作自己的聊天机器人。但这难免会造成大模型的输出存在安全隐患，而一旦当因为官司被质疑，Character.AI进行了更严格的价值对齐，优先保证给用户不显得冒犯的内容。结果却是同时用户抱怨Character.AI调整之后缺乏个性，与之对话索然无味。这其中的变化，反映的是人类所需的价值可能相互不兼容。如果只是让AI模型做好价值观对齐，那问题就变成，对齐哪一种价值观？

价值观对齐的更大的问题，是对齐做的越好的大模型，在情商上可能越低。这是由于价值对齐实际上是“把主观的好恶 (一部分人的价值)，以“人类价值”为名强行加进了一个原本在统计学意义上客观反映“世界”的语言模型中。人“控制”输出结果，未必比模型“控制”自身的输出结果，更能反映出“人类价值”的实际面貌。就像一个总是一本正经板着脸的老干部，“价值对齐”做到极致，不仅会让大模型大幅度失去了各种多样性的输出 (输出变化更少)，而且会不同程度地削弱模型的智能表现。

价值对齐还会带来更严重的问题，如上文所述，由于模型的训练数据大多来自西方世界，训练得到的模型多多少少反映了美式价值观[1,2]，无论是消费主义推崇的消费多少决定了自身价值，还是资本主义中对底层的剥削，大模型的输出忽视了自身奋斗的价值，也没有为底层发声。与这样的聊天机器人对话，尤其对还没有建立自身价值观的未成年人，是难免受其潜移默化影响的。

这一节讨论的，同样是该如何在机器参与到交互时，如何在人与人之间维持信任。结果我们发现，我们表面上是不相信与我们对话的聊天机器人不会伤害我们，但实际上，却是担心聊天机器人要么太笨，要么太不受控，而两者是无法同时满足的。

面对上述矛盾，不妨借鉴电影分级制度，对应用于未成年人，尤其是儿童的大模型进行分级，对于这些大模型需要进行额外的审核。这对于当下已在广泛使用大模型的早教，陪伴类机器人开发商，不是限制，而是保护整个行业的口碑。

3）先秦教育思想契合人工智能下的教育实践

如果教育无法帮助你找到合适的工作，受过教育也要成为“无用阶级”的，那教育对于我们还有何价值？问出这样的问题，动摇了现代社会的根基，即受教育即是必要的，也是有益的，在此基础上，教师以及受过高等教育的人是值得信任的。

然而，教育无用论能够成立的基础，是大模型的输出比教师准确度更高，比亲人的陪伴更贴心，因此我们不需要学校，家人来教育我们的下一代，只需要将他们委托给大模型即可。相比依赖老一代人靠着过去的智慧为我们传道，解惑，不如去相信一个统计模型能更好地为全社会准备好能应对剧烈变化的下一代。

然而这样的假设是不成立的，不仅仅是由于大模型自身的幻觉，会编造事实，更是由于数据来源本身的问题，结合大模型对概念理解的偏差，会让大模型的输出未能准确把握核心科学概念的内涵与外延。例如，在解释“量子纠缠”时，可能会使用不恰当的宏观世界类比，导致读者产生根本性的误解。这源于模型并非真正“理解”概念，而是基于词汇的统计相关性进行生成[4].

此外，大模型没有构建世界模型，这导致其会出现逻辑推理或因果倒置谬误，如前提错误、推理步骤缺失或无效、结论与前提不一致等 。模型生成的文本可能表面上逻辑通顺，但细究之下却存在“看似对了其实错”的逻辑漏洞 ，这在解释复杂的生物过程或物理定律时尤为常见。 模型还可能混淆相关性与因果性，将两个同时发生的现象错误地描述为因果关系，这是科学思维中需要极力避免的谬误。

更常见的问题，是爱用类比的大模型，在尝试解释科学或社会概念时， 进行错误类比[5]。模型无法准确判断具体知识的适用范围和局限性。它可能会将一个领域的理论生搬硬套到另一个不相关的领域，或者在面对不确定或有争议的科学问题时，以一种斩钉截铁的口吻给出一个错误的定论。

明晰了上述三点，我们就能发现，如果只是想培养做题家，那AI能代替老师去给学生讲解习题，朗读英文课文，但若是面对开放性的，需要能推动新思考的问题时，所需的就不是机器而是人。而从封闭的习题，知识点的教，到上述的与学生的讨论，这将推动育的本质从单方向的教，变成了双向的讨论与互动。

教师要做的是通过陪练，让自己和学生一起熟悉而高效地找到原始资料，去判断大模型给出的回答是不是过度引申，有那些可以批判性地吸收。同时在沟通中，和学生一起体会何为温故知新。只有让学生亲身体会过更新认知框架的过程，才算得上是培养了终身学习的能力。

《再见智人》关于教育的第七章，有一句说的很妙“《论语》引孔子话“人能弘道，非道弘人”，亦鲜明言及人对道的触动。”。这里的道可理解成价值观，因而这句话说的是“人与人的互动能使某种价值观流传，而非依赖这种价值观来彰显个人”；之所以提到这句，是因其对应了当下教育中，人（无论是家长还是教师）的第二个无法替代的价值，即价值观的传递。

正如前文所述，大模型的三观，因为英文语料更多，多半是偏西方的，对此，更需要由来自人的干预进行应对。在传统教育体系下，不论儒家道家，教学的过持续不断的自我超越，去接近圣人或至人。恰恰当不再“仅仅成为人”时，人才真正能与物相齐，“以天地万物为一体”，这在儒家表现为“大哉圣人之道！洋洋乎，发育万物，峻极于天。”，在庄子中描述为“至人之用心若镜，不将不迎，应而不藏，故能胜物而不伤”

简而言之，便是成为从人的诸种限制中解放出去，而这正是在当下这个剧烈变化的时代，最需要为下一代准备的心理解药。而这种能够把失败推向持续不断的自我超越的文化创造力，只有通过人才能培养（人能弘道），而一旦养成，将会成为下一代的生命的底色，为他们守住底线（非道弘人）。

随着大模型翻译的进步，当下的孩子们会质问为何要学英语；有了前述的先秦教育观，对于这个问题的回答便是如果你将教育的主体和客体分开，那么你会觉得外语作为一个客体，再有了更好地替代品的当下是不值得学习的。但如果将认识、思考、讨论都看成是“行动”，都是在构塑着人们所处身其内的世界，那外语就可以换一种方式去学，将学外语的过程看成是塑造自身的三观，从经典中体会何为人性的解放。

4）小结：在“特朗普世”，拒绝做一个末人

哲学家汉娜阿伦特在见证了第一颗人造卫星发射后，反思性地探讨“人类境况”，类似的反思，是美国天文学家，科普作家卡尔萨根1990年，用旅行者一号拍下的地球照片。无论是发射卫星，还是在太阳系的边缘远眺地球。我们之所以感受到触动，都是源于其让我们忽然明晰了，在茫茫星海中，作为人类并没有那么特殊。而以大模型为代表的生成式人工智能横空出现，无疑让每个人都切身体会到了这一点

地质学家将我们当下这个由人类主宰地球表面的时代，称为“人类世”，而由于一边频繁推出反智言论，一边两次成功竞选成为美国总统的特朗普的表现，卫报在2016年于胜选半月前提出了“特朗普世”，用来形容我们所处的时代。用《双城记》那句永不过时的台词，这是最好的时代，这是最坏的时代。

在当下，使用了大模型，智慧与愚蠢的距离从来没有这么近，每个人都有近乎无限的知识源，同时也能吸取古今中外的偏见；怀疑与信仰的方向从来没有这么远，你可以经由搜索和提问去质疑一切，也可以无条件用同一个技术去传播玄学；光明与黑暗交织，气候变化昼夜不停的脚步与通用人工智能带来的无尽想象让绝望和希望由同一个源头流出；无论未来是一无所有还是前途拥有一切，决定我们是走向天堂还是下地狱的，始终是我们与技术之间，以及由技术影响的人与人之间的信任，这份信任曾被称为“社会资本”，如今则应被叫做“社会技术资本”

福山在《我们的后人类未来：生物科技革命的后果》写到“生活在历史终结时代的人，是尼采所说的无希望、无创造、平庸浅陋的“末人” (the last man) 。末人，将全面取代智人”。当下，美国押注星际之门，相信以OpenAI为代表的通用人工智能能够在近期实现。而中国则选择了人工智能+，让AI去赋能各个工业部门。这两者背后的选择，反映了两国对历史是否终结的判断。

认为人类和AI将走向共生，这没有错。在生物进化史中，曾有这样的共生案例，真核细胞中的线粒体，一个为细胞专职提供能源的来自于数十亿年前两个细菌的吞噬，之后这“被吞噬者”并未被消化，反而与宿主达成了一种深远的互惠协议：它保留了专职进行能量生产，而宿主细胞则有了更高效的能源供应，最终支持了更复杂的演化。随着人类与人工智能之间相互依存关系的加深，两者可能不再仅仅作为相互作用的对象，而是作为一个整体进化个体，在集体层面上受到选择[6]。只不过，我们要注意的是，由谁来主导要走的路。