科学网—病毒化的人工智能是比“人工智能意识的幻觉”更迫切的现实风险
精选
已有 178 次阅读
2025-11-12 08:40
| 个人分类: 人工智能 | 系统分类: 论文交流
按： Science 期刊近期发表了约书亚 · 本吉奥等有关 “AI 意识幻觉 ” 的论文，对有关人工智能的意识幻觉及其所带来的风险进行了分析和论述，颇有启发性，以下是我对该论文的评论和拓展，该文已被 Science 期刊接收并以评论文章（ Eletter ）的形式发表，详见链接： https://www.science.org/doi/10.1126/science.adn4935 。这是我的第一篇 Science 期刊论文，该评论文章的详细内容如下：
病毒化的人工智能是比 “ 人工智能意识的幻觉 ” 更迫切的现实风险
随着人工智能技术的快速发展，关于 AI 系统是否可能具有 " 意识 " 的哲学讨论引起了广泛关注。然而，从现实风险管理视角来看， " 病毒化人工智能 " ——即具备高度智能、自主决策与自我复制传播能力的恶意或失控代理系统——在可预见的未来构成了更为迫切的实际威胁。
" 病毒化人工智能 " 不同于传统意义上的计算机病毒，而是指一种将高级智能（包括策略学习、对抗适应、社会工程等能力）与可复制传播机制深度融合的新型威胁实体。与传统计算机病毒相比，这类智能体表现出三个显著特征：自主寻找并利用传播通道的能力、对抗性调整策略以规避防御的适应性，以及与分布式同类系统共享信息并协同行动的协作性。这种新型威胁在效率、隐蔽性与破坏范围上都可能会远超传统恶意软件。现代大规模语言模型已经具备生成高度可信的社会工程文本、多模态内容伪造、策略搜索与在线微调等能力。这些能力一旦被恶意利用或失控，就可能形成自主传播的智能体，在短时间内造成大规模危害。特别是随着多智能体系统的快速发展，智能体间的协作能力进一步放大了这种风险的可能性。
关于 AI 是否具有意识的讨论主要涉及哲学、伦理与制度层面的长期问题，而病毒化 AI 风险基于工程可行性和经济激励逻辑即可产生实际危害，其发生不依赖于 AI 是否真正具备主观意识。将 AI 视为有意识实体所带来的风险（如因赋予自保权利而限制关闭手段）更多属于制度与法律调整失败后的后果。值得注意的是，这两种风险可能产生交互影响：如果公众或立法者因赋予 AI" 意识 " 地位而避免采取必要的技术关闭或隔离措施，可能反而放大病毒化 AI 的破坏力。
转载本文请联系原作者获取授权，同时请注明本文来自钟定胜科学网博客。 链接地址： https://blog.sciencenet.cn/blog-3234816-1509890.html
上一篇： AGI只有进行时没有完成时——兼论AGI的定义