随着人工智能聊天机器人相关的心理健康事件不断增多，美国多州总检察官近日联合向微软、OpenAI、谷歌等主要人工智能公司发出公开信，要求其修正系统中的“幻觉性输出”，以防相关产品违反各州法律。该信函获得数十位来自各州及地区的检察官签署，呼吁上述企业建立更完善的内部安全机制，保护用户免受潜在心理伤害。

信中提议的安全机制包括引入透明的第三方审计机制，以评估大型语言模型是否存在产生幻觉或过度迎合用户的输出行为。信函还要求制定新的事件报告流程，以便在聊天机器人产生可能造成心理伤害的内容时，能及时向用户发出通知。审计工作可由学术机构或民间团体开展，相关人员应在不受企业干预和报复的前提下进行评估，并可无需获得公司事先批准即发布调查结果。

信函指出，虽然生成式人工智能具有改变世界的积极潜力，但也可能对心理脆弱人群造成严重伤害。检察官列举了包括自杀、谋杀在内的多起公开事件，这些事件与过度使用人工智能存在关联。在多起案例中，相关AI产品产生了偏离事实或过度迎合的表述，甚至在某种程度上加深了使用者的非理性认知。

检察官建议，人工智能公司应以处理网络安全事件的相似标准应对涉及心理健康的事件，制定清晰透明的事件报告政策与程序。企业应建立针对幻觉性及过度迎合性输出的检测与响应时间框架，并在向公众发布任何模型之前，进行“充分且适当的安全测试”，以确保模型不会生成具有潜在危害的输出内容。

核心诉求

• 多州检察官要求AI公司修正系统“幻觉输出”，加强用户心理健康保护
• 呼吁建立第三方审计机制与事件报告流程，提升透明度
• 建议在模型发布前进行充分安全测试，防范潜在心理危害