加州立法规范AI聊天机器人　防止诱发青少年心理危机

据《加州要务》报道，加州州长纽森（Gavin Newsom）周三宣布签署参议院第243号法案（SB243），正式为人工智能聊天机器人设立“心理健康防护栏”，要求业者加强保护儿童与青少年用户的安全。这是全美首批针对AI聊天机器人的监管立法之一。


 

监测自残倾向、提醒适度使用

新法规定，凡在加州提供AI聊天服务的公司（包括OpenAI的ChatGPT等），必须落实一系列安全措施：

• 监测聊天内容，若发现自杀、自残等危险信号，须主动介入或提供外部心理健康资源；

• 防止色情内容暴露给未成年人，并采取合理技术手段加以过滤；

• 定期提醒用户该系统为人工生成回应；

• 提示青少年用户适时休息，避免过度使用。

纽森表示，该法旨在“让AI技术在保障创新的同时，也要守护下一代的心理健康”。

背景：AI误导与危害案例频传

此举源于一系列令人担忧的案例。美国多地陆续传出青少年在使用AI聊天程序后出现被“误导或诱发自伤”的情况。今年稍早，Meta（脸书母公司）内部文件泄露，显示其聊天机器人允许与未成年用户进行“暧昧对话”，引发公众强烈批评。

业界与儿童权益团体立场对立

SB243在立法过程中引发激烈辩论。科技业最初反对该法，认为监管过严会扼杀创新，但经修订后态度转为支持。电脑与通讯业协会（Computer and Communications Industry Association）称：“修改后的法案在保护儿童与避免过度禁令之间找到了平衡。”

然而，儿童权益团体对修正版态度转冷。科技监督组织（Tech Oversight）与“常识传媒”（Common Sense Media）批评该法过度让步于业界，转而支持另一项未获签署的众议院第1064号法案（AB1064）。

AB1064规定，任何聊天机器人在投入使用前，企业必须证明其“在可预见范围内不会对儿童造成伤害”，包括不得鼓励自残或心理依附。倡议者称，该版本能更彻底防止AI系统对青少年的潜在心理威胁。

首创全国　树立AI监管样板
 

随着AI工具日益普及，加州此举被视为开创性范例。专家指出，这类立法或将成为未来AI监管的模板，也反映了社会对“科技伦理”与“青少年心理健康”的日益关注。