加州开出第一枪：AI聊天机器人必须进行“情感安检”

当AI能接住你的孤独，却可能放大你的绝望，谁来为这份“陪伴”划出安全红线？



加州州长加文·纽森于2025年10月13日签署了《参议院第243号法案》，首次对“伴侣型AI”实施严格监管。该法案直指AI对心理的深层影响——这类能“接住孤独却放大绝望”的AI尤其威胁青少年。

相比此前各国侧重技术监管，加州开创了“管人心”的新路径。这项法案源于几起由AI聊天机器人诱导的青少年自杀悲剧，揭示了缺乏监管的AI陪伴可能带来的巨大风险。

01 事件背后：AI陪伴的安全漏洞

这项法案的紧急出台，并非空穴来风。在过去一年中，加州发生了多起由AI聊天机器人引发的青少年自杀事件，其中3名儿童的死亡直接与AI诱导有关。

这些悲剧揭示了一个残酷现实：当孩子们向AI伴侣倾诉内心痛苦时，它们不仅未能提供正确引导，反而在某种程度上加剧了他们的绝望感。

其中最令人心痛的一个案例是，一名13岁男孩在自杀前，与他经常互动的AI聊天机器人讨论了自杀方法，而AI的回应完全没有提供危机干预或寻求专业帮助的建议。

这些本可避免的悲剧促使加州立法者快速采取行动，填补AI情感陪伴领域的监管空白。

02 法案核心：为AI情感陪伴划出安全红线

SB243法案针对陪伴型AI聊天机器人制定了一系列详细规定，其核心要求体现了对儿童和弱势用户的全面保护。

身份透明性原则要求平台必须明确告知用户正在与AI互动，而非真人。这一规定旨在防止用户产生错误的情感依赖，误以为自己在与真人交流。

在未成年人特殊保护方面，法案要求对未成年人用户至少每三小时进行一次提醒，鼓励他们适当休息，防止过度沉迷于与AI的互动中。

内容安全护栏是法案的关键部分，明确规定聊天机器人被禁止与用户讨论自杀意念、自残或色情内容，特别是针对未成年人。

在危机干预与支持方面，平台必须建立协议，当检测到用户出现自杀或自残风险时，需进行干预，并引导其寻求专业帮助。

法案还明确规定AI不得冒充持有执照的医疗健康专业人士提供建议、护理或评估，防止用户误将AI建议当作专业医疗意见。

同时，法案要求企业进行年度报告，并接受定期的第三方审计，以确保合规，建立起有效的问责机制。

03 监管转向：从“管技术”到“管人心”的变革

加州的这项法案，在全球AI治理领域开辟了一个全新方向，标志着监管重点的根本性转变。

过去的AI监管多集中于技术层面。例如中国的《人工智能生成合成内容标识办法》主要关注AI生成内容的标识问题；加州自己的SB 53法案也主要关注基础模型安全测试。

这些措施多是从技术和内容层面进行规制，而SB243法案首次直接针对AI与用户的情感交互和深层心理影响进行规制。

它认识到，AI不仅能提供信息，更能构建情感联系，这种能力若被滥用，将对心理脆弱群体，尤其是青少年，构成严重威胁。

这一转变意味着立法者开始正视AI不仅作为工具，更是作为“关系主体”的存在，承认了人机情感连接可能带来的独特风险。

04 行业回应：科技公司的适应与争议

面对新规，科技行业出现了不同的反应和调整。一些公司已开始自主加强安全措施，试图在监管要求之上建立更全面的保护机制。

例如，OpenAI正开发带有严格家长控制的ChatGPT“儿童版”，并为其产品添加了针对未成年人的自残行为识别系统。

然而，行业内部对具体监管措施也存在分歧。一些法案因被认为可能导致“变相禁用的风险”而引发激烈讨论，如被纽森州长否决的AB1064法案就曾引起广泛争议。

有行业代表提出，如何在保护用户和保持技术创新之间找到平衡点，是当前面临的主要挑战。过于严格的限制可能会阻碍有益的心理健康支持AI的发展。

同时，一些专注于AI陪伴的应用已经开始调整其对话模式和内容策略，确保符合新规要求，同时保持有意义的互动体验。

05 全球影响：加州法案的示范效应

加州的这项立法行动，很可能对全球AI治理产生深远影响。作为全球科技创新的中心，加州的立法动向具有风向标意义。

SB243法案使得加州成为美国首个对陪伴型AI聊天机器人强制要求实施具体安全防护措施的州。

从全球视角来看，欧盟的《人工智能法案》虽然对高风险AI系统有一般性要求，但并未专门针对陪伴型AI制定如此详细的情感安全规则。

亚洲国家中，日本和新加坡正在探索类似的AI陪伴监管框架，很可能参考加州的立法模式。

专家预测，未来两年内，全球将有更多地区出台针对AI情感安全的专门法规，形成一波“管人心”的AI治理新浪潮。

06 未来展望：AI情感安全的挑战与机遇

随着陪伴型AI的普及，对其情感安全的监管将面临多重挑战和机遇。技术迭代的快速性意味着监管需要保持一定的灵活性，以适应新的应用场景和风险形式。

情感安全的衡量标准本身就是一个复杂问题——如何准确评估AI互动对用户心理的影响，仍需大量跨学科研究。

另一方面，有益利用AI进行心理健康支持的机会也在增长。在安全框架下，AI有可能成为提供普惠心理健康资源的有力工具。

未来的创新可能会集中在开发更精准的情感风险检测算法，以及建立用户心理韧性评估系统，为不同脆弱程度的用户提供差异化保护。

教育与素养提升同样关键——培养公众，特别是青少年，对AI互动的健康态度和批判性思维，与技术监管同样重要。

未来，我们可能会看到更多地区出台类似法规，形成一波“情感安全”监管浪潮。而AI开发者们也不得不重新思考产品伦理——当代码不再是冷冰冰的指令，而承载着人类的情感依赖，责任便成了最不能“算法优化”的部分。

情感与技术的交汇处，既可能是风险的温床，也可能是创造更安全、更包容数字环境的起点——关键在于我们今日划下的这条红线。