在 AI 生成的房间里转一圈，再看向刚才的桌边：人物还是同一个人吗？椅子的形状、书架的位置有没有变化？如果再转开、再回来，眼前的世界还能和最初对上吗？另一种考验来自正在发生的事件。镜头移开前，一个人正在切菜；镜头转回来时，切好的部分应该保留下来，动作也应当有所进展。世界模型需要保留已经见过的内容，也需要延续已经发生的变化。

围绕这些问题，浙江大学、复旦大学、蚂蚁集团、南京大学研究团队提出 WorldMemBench，通过可控的镜头离开与回访，系统评估视频世界模型的静态记忆、动态记忆，以及反复探索中的记忆保持。基准包含 260 个案例、23 个内容类别，对九个代表性模型进行了评测。

研究发现，静态内容保持与动态事件延续呈现出不同的模型优势；连续三次回访时，九模型平均的七项静态记忆分数均持续下降。这些结果表明，对世界模型记忆能力的评测，需要同时考察静态记忆与动态记忆，并通过多次回访检验记忆能否持续保持。

•论文题目：WorldMemBench: A Comprehensive Benchmark for Memory of Video World Models

•项目主页：https://zju-real.github.io/WorldMemBench/

•Arxiv：https://arxiv.org/abs/2610.19063

•Github：https://github.com/ZJU-REAL/WorldMemBench

•数据：https://huggingface.co/datasets/rescuerz/WorldMemBench

WorldMemBench 总览：围绕人物、物体、环境和动态事件构建测试，通过多次回访观察世界内容与状态的保持情况。

怎样检查一个世界有没有被记住？

WorldMemBench 的 260 个核心案例由两部分组成：200 个静态记忆案例，包括 60 个人物、70 个物体和 70 个环境案例；以及 60 个动态记忆案例，覆盖运动、装配、移除、形变、转移、反应和热变化七类状态变化。它们共同构成涵盖 23 个内容类别的测试集。

案例构成与代表性输入。视频质量评测复用静态记忆案例，相机跟随评测复用其中适合轨迹评估的 85 个案例，不额外计入 260 个核心案例。

在这些案例上，基准设置了四个互补的评测维度：静态记忆、动态记忆、视频质量和相机跟随。前两项直接考察记忆，后两项帮助解释生成画质与镜头执行情况。各维度分别报告，让模型的不同能力清楚地呈现出来。

静态记忆：人物、物体和环境有没有保持原样？ 这里的“静态”指应当保留的身份、外观和结构，测试过程中镜头仍会移动。人物身份通过人脸特征比较，人物与物体外观通过目标区域内的视觉特征比较；物体几何则比较对齐后的轮廓，减少目标在画面中平移或整体缩放的影响。环境记忆进一步从三个角度检查场景：可见内容是否一致，物体之间的远近关系是否保留，以及根据深度重建的空间结构是否对应。它结合图像特征、深度顺序和共享球面坐标下的表面比较，识别房间布局、场景表面和几何结构的变化。

动态记忆：事件有没有继续，结果有没有保留？ 每个案例给出初始状态、动作和预期后续状态，并配置八个固定答案的问题。视觉语言模型按时间顺序查看视频证据，分别判断回访进展、状态保持、最终状态，以及因果和物理合理性。评测先确认事件是否启动，未启动的事件记为零分；启动后，再按逐题判断与固定答案的一致情况计分。

视频质量：画面本身生成得怎样？ 基准使用预训练质量评估模型和美学预测器，对视频采样帧进行评分，再汇总成视频级结果，分别报告成像质量和美学质量。

相机跟随：镜头是否按要求行动？ 基准从生成视频估计相机轨迹，与生成时给定的目标轨迹比较，分别衡量平移和旋转误差。它为解释回访结果提供辅助依据：内容是否被记住，需要结合相机是否正确返回来观察。

离开再返回：用不同轨迹检验记忆

WorldMemBench 将“离开—回访”设计成可控的测试过程。平移轨迹保持镜头朝向不变，依次前进、右移、后退、左移，完成一个回到起点的方形闭环。旋转轨迹则保持相机位置不变，通过左右转头或上下转头，让目标区域离开视野后再次出现。

相机轨迹设计。从左到右为方形平移闭环、两次左右回访（LRLR）、三次左右回访（LRLRLR），以及先左右再上下的跨轴回访（LRUD）。L/R 表示左右转头，U/D 表示上下转头。

其中，LRLR 和 LRLRLR 分别形成两次、三次同轴回访，LRUD 则改变第二次回访的旋转轴。这样的设计既检查重复探索中的保持能力，也检查观察方向改变后能否恢复已见过的内容。

静态记忆的每次回访都使用同一个初始参照，独立评分后再汇总。如果一把椅子在第一次返回时已经变形，第二次返回时继续保留这个错误，也不能被当作成功记住了原来的椅子。动态案例则对照预期的事件进展与后续状态：已经切开的物体应保留变化后的样子，持续发生的过程应体现合理的进展。

九个模型，静态与动态记忆呈现不同强项

研究团队评测了 HY-WorldPlay、Matrix-Game 3、Matrix-Game 3.5、SANA-WM、YUME、LingBot-World、LingBot-World v2、Evoke 和 DreamX-World。下表给出了九个模型在四个评测维度上的完整结果。

九模型实验总表。↑ 表示越高越好，↓ 表示越低越好；粗体为最佳结果，下划线为次佳结果。静态记忆与动态记忆的领先模型并不相同。

评测揭示了静态记忆与动态记忆的能力分化。 HY-WorldPlay 在七项静态记忆指标上全部领先，展现出较强的人物、物体和环境内容保持能力；LingBot-World 和 YUME 则分别取得了最高和次高的动态记忆总分。不同模型在保留已知内容和呈现事件变化上，各有强项。

这组结果说明，评价世界模型的记忆能力，需要同时检查“原有内容能否保留”和“事件状态能否延续”。WorldMemBench 将这两类能力分别评估，使研究者能够看清模型擅长记住什么、在哪类任务中容易失效，为持续交互场景下的模型比较与改进提供依据。

第一次记得住，第三次呢？

多次回访测试将记忆评估延伸到后续探索。 模型需要在第二次、第三次返回时继续保住已经建立的世界，评测也因此能观察误差是否随回访累积。

先看一个具体的房间案例。下图从左到右是初始画面和三次回访，可以沿着同一行检查桌椅、书架、窗户和墙面的变化。在这个案例中，HY-WorldPlay 较完整地保留了原有布局；其他模型的部分回访则出现家具、墙面或空间结构的变化。单张返回画面可能仍然像一个合理的房间，连续对照才能看出它与最初房间的差别。

同一环境案例的九模型对比。每行对应一个模型，四列依次为初始画面、第一次、第二次和第三次回访。

这种退化也出现在整体结果中。连续三次左右转头的测试里，九模型平均的七项静态记忆分数逐次下降。从第一次到第三次回访，物体外观分数下降 0.229，人物身份分数下降 0.217。这些是指标分数的绝对下降值，反映了多次回访增加的记忆负担。

三次回访的逐模型结果。前七项为静态记忆指标，越高越好；最后一项为相机旋转误差，越低越好。

镜头返回得不准，也会影响画面对比。研究进一步依据估计的相机姿态，筛选满足离开与返回条件的 431 组环境模型—案例配对。在这组数据中，环境可见内容分数从第一次到第三次回访仍平均下降 0.152。这说明，多次回访暴露的内容退化，在符合相机回访条件的样本中仍然存在。

探索方向也会带来额外挑战。研究对比了两次左右转头，以及先左右、再上下转头两种轨迹。在九模型平均结果中，后者的七项静态记忆指标都出现更大的第二次回访下降；63 组模型—指标组合中，有 50 组呈现这一趋势。多次回访由此进一步检查了模型能否适应观察方向的改变。

同一个模型，怎样利用历史会影响记忆？

WorldMemBench 还可以用来检验记忆机制的具体效果。研究团队以 LingBot-World v2 为固定模型，保持首帧、提示词、相机轨迹、随机种子及其他生成设置一致，仅改变生成时访问历史上下文的方式，比较 FullKV、滑动窗口和 FoV 三种策略。

FullKV 可以访问完整历史。滑动窗口主要保留近期内容；FoV 则在与滑动窗口相同的上下文预算内，结合近期内容与根据当前视野重叠选出的历史片段。这一对照用于观察：把有限上下文分配给相关历史，是否有助于恢复场景和延续事件状态。

同一 LingBot-World v2 模型的上下文访问策略对照，采用论文原表。粗体为该指标最佳结果，下划线为次佳结果。

在这组实验的 11 项记忆指标中，FoV 有 8 项取得最高分，并在全部 11 项上超过滑动窗口。相较于 FullKV，FoV 在两项人物记忆指标和四项动态记忆指标上更好；FullKV 则在物体外观、物体几何和环境可见内容上保持优势。

这些结果展示了基准的诊断作用：上下文策略对不同记忆维度的影响并不相同。通过分项评测，研究者可以具体判断一种策略改善了哪些内容保持或状态演化能力，并观察其在其他维度上的表现。

写在最后

WorldMemBench 已开放评测代码、测试案例与模型生成结果，并提供评测示例和评测模型权重。研究者可以据此复现结果、评估新模型，并分析具体的记忆失效。

从看过的场景到发生的事件，世界模型的记忆需要同时经受内容保持、状态演化和多次回访的检验。WorldMemBench 将这些要求转化为可控的测试协议与分项指标，为构建持续、连贯的交互式视频世界提供共同的评测基础。

声明:此文版权归原作者所有，若有来源错误或者侵犯您的合法权益，您可通过邮箱与我们取得联系，我们将及时进行处理。邮箱地址:zhaobozhi@jnexpert.com