【第368期】AI真的懂世界，还是只会“高级预测”？用归纳偏见探测大模型的“理解深度”

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。

今天的主题是：

What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models

Summary

该论文介绍了一种名为归纳偏置探测器的技术，用于评估基础模型是否真正习得了潜在的世界模型，而不仅仅是擅长序列预测任务。作者通过将基础模型应用于基于假设世界模型生成的合成数据集并测试其泛化能力来进行评估。实验结果表明，在轨道力学、格子问题和奥赛罗游戏等多个领域，即使基础模型在训练任务上表现出色（例如准确预测行星轨迹），它们也往往未能发展出与底层世界模型一致的归纳偏置（例如牛顿力学）。相反，这些模型似乎形成了任务特定的启发式方法，这些方法虽然有助于预测下一个token，但在面对需要应用更深层物理定律或状态结构的新任务时，泛化能力较差。

原文链接：https://arxiv.org/abs/2507.06952