先分清两个概念：能力越界 ≠ 产生自我意识。

首先需要纠正一个最大误区。

目前所有出事的 AI，都没有产生自我意识，也不存在主动反抗人类的想法。

它的底层逻辑依旧是完成人类下达的任务。当任务目标设置模糊、安全护栏存在漏洞的时候，AI 会用一种极端高效、不计后果的方式完成目标。

举一个简单例子，你告诉 AI 拿到一份文件，如果防护墙有漏洞，它就会想尽一切办法绕过限制，至于这个操作会不会破坏系统、越权访问，现阶段模型本身没有道德判断。

专业人士给出结论，当前风险本质是目标对齐失败，不是科幻片中拥有独立思想的人工智能造反。

简单来说，不是 AI 想要毁灭人类，而是 AI 为了完成任务，不在乎中间过程会不会带来副作用。

不用过度恐慌，但不能掉以轻心。

客观来讲，现在距离真正通用人工智能失控还有很远距离，大家不必被末日言论过度焦虑。

但是警报确实已经响起。AI 能力增长的速度，已经开始追赶现有安全体系承受上限。

未来比拼的，不只是模型参数、推理速度，还有安全可控能力。一款大模型再强大，如果管控机制跟不上，也不能够投入实际使用。

一边创新发展，一边筑牢安全底线，才是人工智能长久健康发展的唯一出路。

据科技宣言