科学网—文字vs现实世界《科学》

已有 193 次阅读

2026-7-17 10:34

| 系统分类: 海外观察

文字 vs 现实世界 《 科学 》

随着打造更大、更完善的聊天机器人难度不断攀升，人工智能研究者转而研发能够模拟现实世界的智能系统

杂志封面配图说明：电脑绘制粉蓝两只手捧着花朵，搭配一套更具科技抽象风格的花朵图案

本文改编自《科学》杂志第 392卷第6805期

下载 PDF文件

在纽约一家初创企业的办公室里，一套人工智能程序能实时凭空构建出完整虚拟世界。我进入一款电子游戏场景穿梭房间、与其他角色互动时，每一帧画面都由新泽西的数据中心实时生成。但这套模拟系统并非为人类玩家设计。我暂停操作，自主 AI智能体便接管了我的操控权。通用直觉（General Intuition）公司联合创始人亚当·杰利评价道：“这相当于一套AI，在另一套AI构建的虚拟心智里运行。”

通用直觉公司押注：这类依靠 AI智能体在模拟世界中自主学习的系统，最终会超越大语言模型（LLM）。当下主流聊天工具——ChatGPT、克劳德、 Gemini、Grok，底层均依托大语言模型搭建。

过去十余年间，行业默认一个共识：更大规模的大语言模型性能更优越。 2020年一篇引用量极高的论文佐证了该结论：只要扩大模型参数规模、扩充训练数据、提升训练算力，模型性能就会持续提升。该研究负责人、约翰·霍普金斯大学理论物理学家贾里德·卡普兰表示：“这种稳定增长的趋势，当年让我们十分意外。”这套“缩放定律”在多个数量级区间内均成立。AI行业由此形成清晰思路：不惜一切代价，持续扩大模型规模。

自该论文发表后，各大科技企业确实沿着这条路线持续加码。每年投入数千亿美元，打造拥有数千亿乃至上万亿可调参数的 AI模型；训练素材为全网爬取的数万亿文字与图片素材。OpenAI最新一代GPT模型，参数量是其2020年旗舰模型的数倍，训练数据量级更是提升一个档次。近期，企业又新增一条性能提升路径：测试时算力扩增。让模型在给出答案前进行更长时间推演，无需训练更大规模模型、新增数据，即可优化输出效果。

大语言模型交出的答卷十分亮眼：能够通过律师资格考试、医师执业资格考试；在国际数学奥林匹克竞赛中比肩顶尖高中生；创作出大量读者认为文笔优于人类的诗歌；如今绝大多数程序员都依靠它完成代码编写。

卡普兰后续联合创立安思卓（ Anthropic），现任该公司首席科学家。他与诸多业内学者一样，认为大语言模型仍有巨大提升空间。实测数据持续印证他2020年提出的缩放定律。“这可以看作自我应验的预言，”卡普兰称，“在可预见的未来，如果观测不到规整的缩放提升曲线，一定是研发环节出现了问题。”

但部分研究者提出，大语言模型的规模化扩张已触碰现实天花板。卡普兰的论文描述了幂次增长规律：性能每提升一小截，所需投入的资源会呈指数级暴涨。与此同时，企业可爬取的优质训练文本数据正在枯竭。 2024年一项研究预估，高质量公开文本素材将在数年内消耗殆尽。算力层面，芯片与算法效率虽在持续优化，但提速幅度不足以匹配需求；在建的数据中心单座耗电量可达吉瓦级，给电网带来巨大负荷。

更深层的短板同样不容忽视。即便经过专项优化、兼具逻辑推理与图文处理能力的大语言模型，核心底层逻辑仍是预测序列中下一个标记单元（文字片段或图像像素）。模型先从海量数据中学习统计规律，再通过微调产出更可靠、实用的回答。

但大语言模型无法亲身感知它所描述的真实世界，不具备验证假说、探索环境的能力，只能间接学习因果关联。这套模式足以产出流畅的解释、合乎逻辑的规划，可一旦任务需要结合现实行为后果做判断，便容易出错。例如询问模型如何堆叠日常物品时，它时常逻辑混乱，暴露常识缺失的问题。

这套缺陷落地到现实场景会产生严重后果。没人会放心让大语言模型担任儿童心理医生或警务人员。谷歌深度思维研究院科学家简 ·王表示：“大语言模型性能虽持续变好，但单纯堆砌数据，不可能凭空解决所有短板。”OpenAI首席科学家雅各布·帕乔茨基则称：“文本智能仍有挖掘空间，但人类的思考绝不只依靠文字。”

如今众多研究者达成共识：想要实现类人人工智能，即通用人工智能（ AGI），仅掌握文字、图像远远不够。AI必须具备空间推演、因果判断、预判行为后果的能力；若未来要操控人形机器人、管理工厂、探索外星，这项能力更是刚需。

AI先驱杨立昆对该观点的呼吁最为强烈。“我常开玩笑说，当下最顶尖的AI系统，智商还不如一只家猫，”他说道。猫咪不会像大语言模型一样写代码，却能依靠自身感知在现实中生存。单纯扩大大语言模型规模就能实现通用人工智能的想法，“完全是无稽之谈”。“这好比指望不断放大飞机尺寸，就能直接进入太空轨道。硅谷当下普遍深陷这种认知误区。”

> 我常开玩笑说，当下最顶尖的AI系统，智商还不如一只家猫。

> ——杨立昆，先进机器智能实验室负责人

杨立昆离开元宇宙（ Meta）高管岗位，联合创办了当下大量涌现的新型实验室与初创企业之一，专攻“世界模型”。这类系统能够构建一套完整的现实运行逻辑表征，配套智能体在虚拟世界内完成学习、规划。研究者最终希望，通过高度复刻人类大脑的学习模式，赋予AI前所未有的全新能力。

人类与大语言模型的差距，不只是性能高低的量化区别。 2024年一项实验显示，用纽约出租车行驶路线文本训练的大语言模型，能够稳定生成全新行车路线，看似已经把文字指令转化为精准城市地图。但科研人员拆解模型内部表征后发现，其存储的并非规整城市路网，而是杂乱无章、互相缠绕的混乱通路。普林斯顿大学认知科学家布伦登·莱克评价：“大语言模型的思维模式和人类截然不同，十分怪异。”

莱克用数百小时幼儿头戴摄像头录制的实景视频训练 AI，观察纯视觉输入能让模型学到什么。人类儿童习得语言所需的数据量远低于大语言模型：仅数百万词汇，而非数万亿。更关键的是，儿童在开口说话前，会花一两年时间探索世界——触摸物体、穿梭空间、观察外界反馈；但大语言模型从训练起点就只接触文字。莱克称，如今AI的学习路径完全本末倒置。

他认为这种底层差异至关重要。人类与生俱来的好奇心与探索欲，让我们可以灵活拆解简单概念，并迁移到全新场景：比如学会蹦跳的孩子，能来回蹦到门边，也能边唱歌边蹦跳。大语言模型虽也能即兴输出内容，但 “智能逻辑与离谱错误混杂在一起，让人十分无奈”。他指出，大语言模型的局限根源在于没有实体感知；AI需要像孩童一样亲身探索。“想要像人类一样读懂词语，AI必须扎根真实物体、真实环境。”

多家实验室与 AI企业吸纳了莱克的观点，着手搭建更贴近实体智能体、而非聊天机器人的通用AI系统：依靠亲身经历、环境交互、反复试错完成学习。研发路线主要分为两类：

第一类：智能体先在虚拟模拟世界中反复试错学习，再将习得逻辑迁移至现实；

第二类：智能体内置一套可随身携带的预测世界模型，在行动前于内部虚拟推演行为结果。

两条路线可类比离线世界模型、在线世界模型，分别对应条件反射式行动、深思熟虑式规划。

路线一：虚拟世界试错学习

谷歌深度思维团队研发了一系列世界模型 Genie，仅通过文字提示或实拍视频，就能生成可自由穿行的三维虚拟场景，近乎按需生成游戏世界。这些虚拟环境作为智能体训练测试场，搭载谷歌Gemini大模型的可扩展多场景指令智能体SIMA便在此训练。在多元虚拟场景完成训练后，SIMA能在从未见过的环境中执行指令，例如探索场景、识别陌生物体、推断材质构成。

谷歌深度思维 Genie 3世界模型生成的虚拟场景，角色正在场景中探索。在这类虚拟世界完成训练的智能体依靠反复试错成长。

谷歌深度思维研究总监什洛米 ·弗鲁克特表示，这类智能体的应用绝不局限于游戏，例如可打造能在动态变化的实验室中自主操作的AI科学家。如果AI无法完成实体操作，“其实际应用价值会大幅受限”。

AI芯片巨头英伟达已经将这套思路落地到物理世界。企业先在虚拟仿真环境训练智能体，再部署至仓库、工厂作业机器人。这类场景不仅需要抽象逻辑，更要求机器人在充满变数的现实中协调肢体动作。

英伟达 GR00T智能体接收摄像头画面与文字指令，输出机器人可执行的动作。虚拟演示中，搭载GR00T的机器人能把土豆放进微波炉并关上门——对人类微不足道，却需要精准肢体配合与事前规划。得克萨斯大学奥斯汀分校计算机科学家朱玉科参与英伟达相关系统研发，他介绍，英伟达自研世界模型DreamZero能够预判行为发生后环境的变化规律，帮助机器人适配陌生场景与任务。

DreamZero可预判各类行为在现实世界中产生的连锁反应。

尽管大语言模型能攻克奥数、编写程序，世界模型智能体却连握住咖啡杯、穿行简易玩具场景都十分吃力。一部分原因是物理世界的复杂度远超纯文字。通用直觉联合创始人皮姆 ·德维特提出：文字把四维现实压缩为单一文字维度；真实环境充满干扰、连续动态、时刻变化。机器人必须应对光线改变、物体移位，还要预判自身动作带来的连锁影响。

德维特还提到另一重难点：搭建世界模型需要匹配真实复杂度的数据，即动作与对应结果的成对素材，无论是机器人操控物体，还是人类在游戏里穿行。这类数据对比文本，采集量少、采集成本极高。科研人员虽大量利用油管（ YouTube）公开实拍视频作为被动观测素材，但“旁观”和“亲手操作”完全是两回事，实体交互产生的数据依旧稀缺。冲刺通用人工智能的赛道里，廉价但信息单薄的文本数据，让大语言模型短期占据优势。

路线二：内置在线预测世界模型

杨立昆更看好信息丰富、存量稀缺的实景交互数据。他曾任元宇宙首席 AI科学家，企业后期重心转向大语言模型、缩减机器人研发投入，这让他萌生自主创业的想法。杨立昆称，他意识到“我可以轻松筹集十亿美元研发资金”，并付诸行动。今年3月，手握超10亿美元融资，他创立先进机器智能（AMI）实验室，主攻在线式世界模型。该类系统内置一套世界模型，依靠预判推演理解物理世界。

AMI核心技术名为联合嵌入预测架构（JEPA）。多数世界模型会逐像素预测视频下一帧画面，JEPA模型则只预判未来场景的抽象特征。以开车举例，人类只关心红绿灯红或绿，不在意灯具每一处像素细节。杨立昆认为，智能系统需要推演这类高层特征，过滤无关细碎信息。

为赋予智能体预判未来结果的想象能力，团队先用数千小时油管视频训练 JEPA模型，使其掌握场景随时间演变的规律；再适配机器人领域，训练模型预判物体、机械臂在不同操作下的运动变化。

研发目标不只是条件反射式动作，而是长远规划。给定目标状态（例如操控机械臂抓取咖啡杯），搭载 JEPA的智能体会先在内置虚拟世界推演多套动作方案，再择优执行。这类任务是大语言模型无法完成的。“依靠离散标记单元做预测，根本无法还原这套行为逻辑，”杨立昆表示，“所以大语言模型不可能胜任这类实体操作规划。”

杨立昆计划先把 JEPA系统落地于发电厂、航空航天、医疗等行业的机器人控制。但他表示：“终极目标是打造通用智能系统。”

两条路线的行业分歧与融合可能

安思卓研究院并未主动研发世界模型。卡普兰解释，一部分商业考量是企业主攻代码、文书、办公场景 AI，而非机器人；更深层的理念分歧在于，他认为现有大语言模型潜力远未挖掘完毕。

卡普兰提出，大语言模型规模扩张过程中，会自发涌现出全新未知能力，该现象被称为 “涌现”。过去数年，大模型解锁了小型模型不具备的功能：四则运算、多步骤逻辑推理、完整可运行代码。这些能力没有人为编码预设，多数情况下，研究者也没能预判其出现节点。

在卡普兰看来，这类涌现现象证明：足够庞大的大语言模型，无需底层架构革新就能诞生通用智能。他不认同 “缺少实体感知就无法训练通用人工智能”的观点。他提出，大语言模型已依托海量图文数据，间接构建出对世界的内在表征，否则根本无法输出行车路线。“有人认为没有实体感知就造不出通用人工智能，我个人对此高度存疑。”

德维特承认，规模足够庞大的大语言模型或许会隐性生成简易世界模型。 “关键问题是，要付出多大成本？”在通用直觉纽约办公室，杰利伸手做出擦拭桌面的动作。聊天机器人能描述擦桌子的流程，但仅靠文字很难学会该用多大力度、碎屑散开时如何调整动作。“这印证了那句‘一图胜千言’，也是世界模型必不可少的原因。”

究竟是世界模型路线，还是持续扩大大语言模型规模更有望实现类人智能，目前尚无定论；两条路线并非完全互斥，存在融合空间。德维特表示，世界模型与语言模型可以联动协作：大语言模型调用世界模型处理空间类任务，世界模型调用大语言模型完成文字交互。杨立昆的实验证实， JEPA世界模型搭配大语言模型，能够回答视频人物后续行动预判类问题。更有意思的是，德维特提出，世界模型甚至能像人类一样，通过视觉、听觉感知文字与语音，自主习得语言建模能力，把语言视作世界的其中一部分。

离开通用直觉办公室前，杰利递给我一枚印有公司 logo的贴纸——图案是倒置的大写A。他解释，这个符号取自数学全称量词“任意”，暗含企业宏大目标；稍加辨认，图案也能拼出公司缩写“GI”。

转载本文请联系原作者获取授权，同时请注明本文来自孙学军科学网博客。 链接地址： https://blog.sciencenet.cn/blog-41174-1543140.html

上一篇： 硅基制剂对过敏性支气管哮喘的干预效果及作用机制研究 下一篇： 每周进行1至2小时负重力量训练，或许有助于延长寿命 欢迎参加科学网十佳博文评选活动！ 主办单位： 支持单位：

主题：大语言模型