Daily Papers

Motivation

只看到某项任务的视频，能否帮助机器人执行它？预测未来画面与把画面变化转换成动作，是两种有关联但不能混同的泛化能力。

Summary

WorldBridge 将视频和动作专家通过联合注意力连接，使用双时间尺度视觉记忆与统一动作表示，研究不同视频和动作监督量对迁移的作用。

Insight

§2 中，当前观察及文本被编码为视频 latent 和语言条件，视频、动作专家分别处理带噪未来 latent 与动作块，通过注意力交换信息，并用联合 flow matching 预测各自速度。短期记忆采样近期观察，长期记忆覆盖更长跨度；动作 forcing 在训练时给动作块中的动作施加不同噪声。部署时视频 latent 和动作从噪声共同去噪，得到动作块；不能据此说系统在模拟多个候选后做了在线规划。

表 2 的 RoboTwin 任务外对照中，仅用分布内视频与动作训练，任务外成功率为 25.07%；增加任务外视频而不加相应动作标签后为 55.90%；每个任务再加一条带动作示范为 70.70%。这说明视频覆盖与动作配对都可能有帮助，但改变监督集合也改变训练数据分布，结论适用于该实验协议。

Connection

我的解读是，应把“看过相应任务的视觉变化”和“见过该任务的动作”作为不同条件报告。可进一步控制视频数量、动作数据总量和记忆长度，检查收益来自新任务视觉覆盖、动作桥接还是训练规模；这是建议。

Motivation

相同文字下，物体支撑位置改变可能让结果从稳定变成倾倒。画面逼真不表示视频生成器会对这种可见几何变化作出正确响应。

Summary

GeoFlip 构造成对场景：固定文字及共享物理参数，只改初始几何，再对照经过模拟验证的相反事件评估生成视频。

Insight

§3 使用程序化场景和物理模拟生成 482 对场景，数值检查包括时间步细化、独立重跑及接触检查；模型分别输入配对首帧与同一提示。评估把事件正确性、结构完整性和与参考视频的相似度分开，GPT 与 Opus 判断采样帧后由确定性程序核对事件标签。

作者比较 16 个图生视频模型，在所有模型共享的 442 个条件上，最高任务平均事件正确率为 27.98%。这反映受测设置中的困难；评估器依据抽样帧而非连续物理状态，且事件指标按任务平衡，不能理解为现实世界中所有生成视频的错误率。

Connection

我的解读是，配对改变比只看单个漂亮结果更能暴露模型是否读取了关键几何。进一步可以固定生成随机性、测量两侧是否同时正确，并把观察失败与真正的动力学错误区分开；这是建议。

Motivation

预测整幅画面需要背景信息，决定动作可能只需要其中一部分。仅凭示范拟合成功，模型仍可能把与动作相关的状态和偶然背景混在一起。

Summary

CausalWAM 在联合视频与动作骨干上加入稀疏路由，尝试提取与动作有关的紧凑表示，同时保留世界建模目标。

Insight

§2–4 的可识别性结果依赖文中规定的耦合、正则性、非退化和稀疏条件，只在这些假设下讨论动作相关潜变量的可逆恢复。工程实现基于 Cosmos 3：干净上下文经过 top-k 路由形成紧凑 token，视频 latent 与动作块仍联合 flow matching；默认动作头还保留稠密路径，不能误说动作仅依赖稀疏 token。

表 1 在可知真实潜变量的合成系统中，对动作相关状态与干扰状态分别做探针及消融；§5.2 与相同后训练设置但不带路由的基线比较闭环成功率。合成恢复支持特定构造下的机制分析，不等同于在真实机器人中观察到不可见的真实因果变量。

Connection

我的解读是，应区分预测背景需要什么、动作头实际读取什么，以及哪些因素在干预后仍对动作有因果意义。可进一步改变与任务无关的背景并保持接触几何，比较稠密与稀疏路径的动作变化；这是建议。

Motivation

用一步世界模型规划很长任务时，预测误差会累积；直接输出长序列又容易受训练轨迹模式限制。能否先搜索可达子目标，再解决每一段的动作？

Summary

ID-WM 用高层扩散模型生成局部可达的未来状态，用低层动作条件世界模型搜索执行动作，组成分层模型预测控制。

Insight

§3 的高层以当前状态及时间半径为条件，用去噪目标训练未来状态分布；推理把扩散初始噪声视作隐式高层搜索变量。低层 Transformer 根据状态与动作历史预测下一状态，使用预测误差训练。两层分别用 CEM 搜索子目标和动作，并在执行后重新规划；这里的未来预测确实用于部署决策。

实验比较多种导航与操作环境，以及单层模型规划和策略基线。高层约束来自数据分布与正则化，而非对任意采样状态的物理可达性证明；规划成功率、每层搜索预算和运行成本应一起读，不能只把相对提升视为免费能力。

Connection

我的解读是，分层把长程搜索拆成可检查的局部接口。可在相同总模型调用预算下比较层级与单层规划，并单独计数子目标不可达、低层执行失败和状态估计误差；这是后续研究建议。

Motivation

长动画里的角色、物体和接触关系彼此牵连。一次性脚本即使画面丰富，也可能留下穿模、悬浮或无法支撑物体的几何错误。

Summary

DyCraft 让代码代理先制作可编辑三维场景和关键姿态，再调用运动工具、逐帧验证并修正，最终渲染成长时动态场景。

Insight

§3 将稀疏指令扩写为场景和运动说明，使用 CAD 接口构建实体与关节，再经三维 storyboard 检查构图、位置和关键姿态。运动可使用物理模拟及逆运动学，检查器发现穿透、支撑等问题后由代理迭代修改。这里的持久状态来自可编辑场景与代码执行，不是神经视频模型自己保持的隐藏世界状态。

§4 的用户研究招募 109 名参与者，每人比较五对视频；整体偏好 DyCraft 而非裸代理的比例为 72.3%。24 部交付影片的自动穿透帧比例为 13.0%，低于对照，但不为零；该指标也明确排除部分静态结构重叠和特效对象。

Connection

我的解读是，可执行场景和可检查约束能把一部分一致性问题转为显式工程接口。进一步应测试对象移动、遮挡再出现后其身份与状态是否被保留，并区分工具验证能覆盖的错误与视觉检查才能发现的错误；这是建议。

Motivation

机器人策略可能在后几层动作表示中弱化目标物体信息。能否在不重新训练的情况下，利用已有网络中较早层的更新方向？

Summary

STAR 对动作专家后层的残差更新做指数移动平均，并依据最近本体状态调整混合强度，以更保守地处理快速变化的执行阶段。

Insight

§3 的输入是图像、机器人本体状态和语言，输出动作块；前三分之二层不受干预，最后三分之一混合跨层更新。机器人运动方向、平移尺度、变化率和旋转变化共同决定系数，权重不更新，也没有预测未来图像或在线搜索候选动作。对象遮挡导致的隐藏表示变化被用作启发式诊断，而非直接测量真实视觉理解。

表 2 的 LIBERO-PRO 中，GR00T-N1.5 平均成功率从 40.3% 到 43.2%，π0.5 从 48.2% 到 50.1%；π0.5 的语言、物体交换和环境子项有所下降。平均改善不能解释为每种扰动都改善，更不能保证干预在所有动作阶段安全。

Connection

我的解读是，推理时对内部表示的干预应与执行状态共同评估。可进一步固定模型、比较不同扰动及速度下的效果，同时测量控制延迟和失败类型；这属于研究建议。

Motivation

理解一段视频时，物体之间的空间关系会随时间和视角变化。生成模型内部已有时空表征，它们是否能帮助视觉语言模型读取变化？

Summary

GenDSR 将冻结视频生成模型的中间特征拆成原始特征和相邻时间差，再依据问题与视觉位置融合到理解模型。

Insight

§3 对输入视频编码加噪后，以空提示运行一次冻结去噪网络，提取某层特征；delta 在原时间网格上计算相邻差，再与原始分支分别对齐视觉 token。任务条件门控选择两条分支，训练目标服务于问答，推理读取实际观察视频，并不生成一段未来来搜索动作。

表 1 的 Qwen3-VL-4B 对照中，普通 SFT 在 DSR-Bench 平均为 58.8，加入 raw 后 60.2，再加 delta 后 62.7；单项并非全部上升。实验支持这些特征对该基准的补充作用，但不能把单一基准平均值当作通用动态推理或物理理解能力。

Connection

我的解读是，显式拆出变化量可以减少时间信息被静态外观掩盖的风险。值得进一步用相机运动与物体运动独立变化的对照，检验 delta 捕捉的是对象动态还是视角变化；这是建议。

Motivation

不同机器人的指令到位移映射不同，却可能看到相同场景。把控制器差异和环境视觉变化绑在一起，会妨碍跨机器人共享经验。

Summary

Hourglass 通过相机自运动连接通用世界模型与各机器人可微自身动力学，在想象轨迹中训练带机器人参数的导航策略。

Insight

§III 中世界模型接收深度、相机参数和自运动，状态包括递归特征、随机 latent 和自中心空间网格；网格随相机运动变换，再用新深度更新。机器人命令先经过自身动力学模板转换为自运动，训练损失包含深度重建、KL、开环 latent 预测和可通行距离监督。

实验使用七种训练机器人、两种未见仿真机器人及一台真实滑移转向机器人；仿真数据来自机器人自由的相机轨迹。部署输入深度、自运动和全局规划器提供的目标，论文在想象中训练策略，不应误写为每次执行都运行模型预测控制搜索。

Connection

我的解读是，自运动可以成为跨形态的共享接口，但它对平地和相机安装条件有依赖。建议分别扰动运动模型参数、相机标定与地面起伏，比较哪些误差最先导致策略失败；这属于后续测试建议。

Motivation

模型回答历史问题正确，可能只是因为近期画面或答案选项泄漏了线索。高单题分数并不能自动证明它读取并使用了历史。

Summary

TwinPast 固定近期片段、问题和选项，成对改变关键历史及正确答案，要求两条视频各自正确才能算配对成功。

Insight

§3 对旧基准人工抽样发现，一部分所谓历史问题仅靠最近几帧即可作答；§4 构建 350 对经人工核查的视频，覆盖五类历史任务。PairAcc 要求两侧同时正确，并拆分模型是否改变答案、改变后是否配对正确，另计反向匹配，避免把随机变换答案当成使用证据。

表 2 的最佳受测流式系统 PairAcc 为 49.14%，受测通用多模态模型范围为 66.57%–91.43%；模型接口、采样和计算预算并不都相同，不能将差距简单归结为流式架构本身。案例也出现选错时间状态或颠倒事件顺序，即使相关证据存在。

Connection

我的解读是，长期记忆的评估除了看是否保存信息，还应检查回答是否依照指定时间引用正确记录。建议把配对历史用于遮挡后再出现的对象身份问题，并另测缓存容量与检索策略；这不是本文已经完成的生成式回访实验。

Motivation

用于重建图像的细节与用于识别的语义并不完全相同。压缩为一串视觉 token 时，是否需要让所有 token 经过完全相同的处理？

Summary

MoETok 用查询从图像 patch 汇聚一维 token，以稀疏专家路由适配不同 token，再联合重建和语义目标训练。

Insight

§3 中图像 patch 与可学习查询进入编码器，查询结果量化为离散 token；编码层保留共享注意力，将前馈网络替换为专家池，由路由器按 token 表示选择专家。作者用注意力变化、逐查询线性探针和子集干预分析语义与细节角色，而非事先为每个 token 手工指定角色。下游统一模型再对文字和视觉 token 使用 next-token 交叉熵。

§4 的专家数量消融中，八专家每次激活两个，相比只激活一个改善表征和生成；全部激活增加活跃计算，却只有较小额外收益。此对照支持条件计算取舍，但扩大总参数和匹配活跃计算并不代表硬件端延迟或总训练成本完全相同。

Connection

我的解读是，统一理解与生成需要同时检验语义压缩、细节重建和生成器使用 token 的方式。建议固定下游骨干与真实推理预算，对不同对象尺度及遮挡条件分别评估，避免一个重建分数掩盖语义损失。

Motivation

少步自回归生成能降低延迟，但早期误差可能在后续片段滚雪球；固定步数训练也会限制速度和质量之间的选择。

Summary

Any Forcing 训练统一判别器约束不同采样步数，并在长视频生成时按全局相关性与局部贡献选择历史缓存。

Insight

§4 的判别器分别比较真实分布、相邻采样步输出和首帧质量，并结合蒸馏训练。生成新片段前，系统把候选历史与现有记忆比较，仅当全局相关性和局部贡献均更高时替换条目；再把历史位置映射回训练过的 RoPE 范围。这里是特征缓存选择，不是显式三维对象状态。

表 1 的 480p、5 秒 VBench 对照里，四步设置总分为 85.09，Causal Forcing 为 85.08；两步分别为 84.89 和 84.03。表中一部分标作单步的设置对首个 latent 帧使用更多步，比较时必须按各行协议解释，不能笼统称全程同等单步。

Connection

我的解读是，稳定性需要同时看蒸馏质量和有限记忆的取舍。建议固定计算与缓存预算，分别改变遮挡、对象重现和镜头路径，检查丢弃哪些历史会造成身份错误；这些回访测试不是本文已证明的结果。

Motivation

统一模型做图像生成前，如果把所有推理压成离散文字，可能限制它向图像生成分支传递细节。连续隐藏状态能否形成另一种接口？

Summary

LARC 交替生成文字和连续 latent 推理步骤，再由图像模块读取轨迹；训练分为渐进监督微调和自演化强化学习。

Insight

§2 中 latent 模式将上一隐藏状态作为下一步输入。信息增益奖励通过有无推理轨迹时的条件 flow-matching 损失差近似，另加 latent 多样性项避免各步坍缩；使用组相对优化更新策略。推理阶段图像模块对轨迹做交叉注意力生成图片，不需要声称 latent 是可直接解释的物理状态。

表 1 的 GenEval 总分报告 LARC 为 0.88，BAGEL 为 0.81；基准主要依赖模型评判，方法也经过专门微调，不能将差异只归因于连续表示。附录消融显示缺少防坍缩奖励时多步隐藏状态趋同，提示“更多步”不自动带来更有效推理。

Connection

我的解读是，连续轨迹提供了可优化的生成条件，但其语义与因果作用仍需实验而非从名称推断。建议固定训练数据与推理计算量，比较随机轨迹、打乱轨迹和逐步干预后的输出变化。

Motivation

记忆若随每一帧堆积，相机多转几圈就会越来越贵；若旧几何永远不能修正，最初的重建错误又会一直影响返回时的画面。

Summary

L3G-World 用可增补、可修订的三维 Gaussian 记忆保存场景与 VAE 特征。目标视角直接渲染 latent 来条件化下一段视频，随后把生成结果写回记忆。

Insight

方法输入为单图及相机轨迹。低覆盖或高重建误差区域产生新条目，已可见旧条目接受残差更新。记忆训练结合图像、深度、latent 与可见性约束，生成器使用 flow matching 后再蒸馏；它不必把每次记忆渲染都重新编码为 VAE 特征。

实验包含 481 帧原路回返，并在相同相机位置配对比较，属于真正的 camera-return；新增、修订与 latent lifting 均有消融。Fast 蒸馏版在单 H100 上总管线为 9.02 FPS，不能与 A100 上单独测得的记忆模块吞吐混用。部分基线经过初始化或动作接口适配，比较并非全部原生同条件。

Connection

我的解读是，“可修订的空间记忆”比“无限世界”更准确。回访时一致仍可能只是始终记错；下一步应分别检验初始错误能否撤销、遮挡后是否恢复正确内容，以及对象移动后旧位置是否被清除。这些动态状态问题不能由静态回返分数代答。

Motivation

像素里看得出物体将移动，不等于控制器能直接取得可执行的几何路径。先生成视频再跟踪，也会额外引入跟踪和尺度误差。

Summary

WorldFlow 从单帧图像、语言及三维查询点共同预测视频与点位移。它把对象运动作为独立生成模态，在共享注意力中与视频联合去噪，再把位移累积为轨迹。

Insight

§3 使用联合 rectified-flow 损失，并补充位移、累计方向和终点约束。查询点的初始几何与图像位置对齐视频 token。§4.3 的匹配骨干、数据和优化对照中，SpatialCog 的终点误差由仅预测 flow 的 0.248 米降到联合生成的 0.078 米，支持视频监督对运动预测的帮助。

§4.4 真机确实使用预测：RGB-D 提取对象点云，预测轨迹再交给抓取与局部刚性拟合模块转成机械臂运动。保持其余模块一致的 36 次执行中，成功为 24/36，对照 μ₀ 为 4/36；这仍明显低于作者判定的轨迹预测成功 35/36，说明预测合理与完整执行之间还有落差。

Connection

我的解读是，应把“世界预测正确”“动作可实现”“任务完成”作为三项分别统计。进一步可按抓取、轨迹拟合与接触失败拆解错误，避免只提高离线轨迹指标却没有改善控制。这里的迁移接口是对象运动，不是一个已经端到端学好的通用策略。

Motivation

机器人说出正确的动作意图，不代表实际动作会遵循它。需要同时检查动作方向是否匹配意图，以及动作产生的后果是否抵达预期位置。

Summary

CoRAct 先联合学习结构化推理、动作和动作条件未来图像，再冻结主模型，用运动一致性与视觉落点奖励训练动作初始噪声策略。部署只生成一份动作，不运行多候选未来验证。

Insight

§III 中，图像、状态和指令先生成 movement／waypoint 推理；推理用交叉熵，动作与未来图像用 flow matching。未来图像分支看动作而看不到推理中的目标落点，避免直接照抄答案。离线对候选未来图像定位夹爪，并与目标落点比较，按组相对奖励优化噪声分布。

表 II 将推理和对齐逐步分开：VLABench 从无推理的 39.2%，经 movement／waypoint 监督达 47.5%，再加运动与后果对齐达 51.8%。§III-C 明确部署从学习到的分布采样一次，做 10 步动作去噪；因此闭环纠错来自后续观测，而不是每步在线想象搜索。

Connection

我的解读是，昂贵的后果检验可以变成训练信号，但收益仍取决于检验器是否可信。建议分别替换未来图像模型与落点定位器，测量哪一环误差会把噪声策略推向错误方向；动作意图一致也不能替代任务完成率。

Motivation

短片局部看起来稳定，不代表相机绕行后还能回到同一个地方。固定轨迹也未必会追着模型当前最容易暴露的问题继续探索。

Summary

WorldProbe 是诊断基准：目标条件的多模态代理根据生成结果在线调整摄像机动作，分别检查局部画质、内容、回访记忆和演化一致性。它不是新的生成器。

Insight

主实验覆盖 164 个案例、10 个模型，最长 180 秒。记忆评估先通过 ViPE 重建位姿、筛选近邻视点，再用 VLM 比较跨视角内容；演化评估结合抽样帧与控制摘要判断变化是否合理。动作影响后续探索路径，但评分并不来自可直接读取的真实物理状态。

实验的重点是局部质量与长程一致性可能分离：画面能继续流畅生成，记忆或演化仍会失效。附加案例中 DreamX 的 367.9 秒不能当成主评估所有模型的统一时长；同样，VLM 给出的高一致性分数也不代表已经证实物理正确。

Connection

我的解读是，记住地点与解释变化必须分开验。可以用这类在线探索协议检验记忆方法是否只是适应了预设返回路线，并进一步固定探索策略、换评分器做稳健性检查。把它用于比较 GROME 等方法是合理的后续实验建议，本期没有进行这种交叉实验。

Motivation

回到旧位置时，背景应该保持稳定，运动中的实体却不能机械地退回旧姿态。把两者当成同一种历史图像读取，会混淆空间记忆与时间状态。

Summary

GROME 将历史拆成静态几何和动态实体的局部记忆，静态部分按空间覆盖取证，动态部分读取保留时间索引的最新证据，再注入冻结的视频模型。

Insight

方法通过分离注意力、参考值适配与去噪阶段路由组织记忆读取，无需额外训练。对照 LingBotV2 时固定 20 个 latent slots、种子、采样与轨迹，更有助于判断收益是否来自记忆组织，而不只是增加上下文；跨模型对照则不能视为完全同条件。

主评估为 200 个场景，静态与动态各 100 个，长度 15–18 秒、360–432 帧；回访时参考内容已经离开有效上下文。实体一致性分数为 0.769，仍低于 WorldPlay 的 0.910，因此不能写成全面领先，也不应把这个受控时长扩写成分钟级持久世界。

Connection

我的解读是，最新动态证据比最早参考更合理，却不等于知道对象离开视野之后真实发生了什么。可以进一步把“最近一次见到的状态”和“隐藏期间的演化假设”分开存储，返回时用新观察检验；这属于研究建议，并非论文已经证明的隐状态推断能力。

Motivation

预测下一刻画面与理解任务最终目标并不是同一件事；把所有预测一起交给动作模型，也未必能让它取到当前真正需要的信息。

Summary

HiFOR 同时预测短期、语义里程碑和目标层面的未来特征，并让动作去噪过程按时间层级、视角和空间位置检索它们。未来表征参与部署时的动作生成。

Insight

§3 的输入是多视角图像、指令和机器人状态，输出包含末端平移、旋转与夹爪的动作块。成功示范提供里程碑定位，冻结 DINOv2 提供未来视觉监督；短期还预测机器人状态。训练把动作 flow matching 与未来预测损失相加，检索结果通过残差进入动作专家。

表 3 的 RoboTwin Hard 消融从无模块的 40.35% 到短期预测 44.15%，再加里程碑与目标达 46.95%，加入动作引导检索后为 49.40%。这是有用的递进对照，但评测为随机选取的 20 个任务，不能当成完整任务集成绩；检索预测特征也不是逐条模拟候选动作并搜索最优轨迹。

Connection

我的解读是，预测模块的价值取决于控制器如何读取它。进一步值得比较：固定读取与随去噪变化的读取在错误预测下谁更稳健；也可打乱时间层级，检查增益来自结构还是仅仅增加特征容量。这些是研究建议。

Motivation

受击动画、血量下降和攻击指令通常一起出现，但免疫或吸血规则会打破这种关联。能画出熟悉的打斗，未必能忠实执行修改后的规则。

Summary

FWM 由程序引擎更新状态，确定性编译器把攻击窗口、短暂受击与持续血量分别编码为视觉条件，视频模型只负责渲染这些已确定的结果。

Insight

§3 将角色身份同时绑定到参考图、初始画面和代理图；flow matching 仅监督未来视频 latent，条件保持干净。修改规则后重新运行引擎，参考与文字保持不变，从而检查渲染是否遵守新状态，而不是让文本直接提示结果。

表 2 在相同执行记录下比较编码：空间代理加状态 token 的联合交互得分为 63.28%，完整交互代理为 98.48%。表 4 去掉血条后健康值 MAE 从 0.15 升到 2.18 个最大血量百分点。指标是规则结果的画面兑现程度，不是模型独立推断物理规律的准确率。

Connection

我的解读是，规则执行与视觉服从可以拆开测量。建议把同一规则放到不同外观、角色换边和长时间间隔中，单独检查状态正确但画面错误的情形。对对象持久性研究，这提供了可核对状态的实验思路，却不能替代三维遮挡与相机回访评测。

Motivation

视频预测只输出 RGB 时，后续系统仍要另行估计几何和运动；这种串联可能把生成伪影继续传给感知。能否让同一模型直接提供可读的结构化输出？

Summary

GenSight 让 RGB、深度、主体分割与首帧相对二维 flow 共用 VAE 和 DiT，通过任务调制在统一 velocity 空间学习生成与感知。

Insight

方法以同一 noisy-video latent 为分支输入，dense 模态目标用于监督而不是额外输入。训练使用 velocity MSE 和空间梯度匹配。生成视频仍需多步，观察视频的 dense 感知则按模态单步读出，不能写成单步生成视频或一次前向完成所有模态。

表 1 的 RoboMIND 测试中，GenSight 的 FVD 为 14.55，对照 Cosmos3-Nano 为 44.97；但原始 flow EPE 落后 RynnWorld4D，不能称所有指标领先。三维 flow 由深度与二维 flow 恢复时假设相机静止，且部分标签来自估计器，这些条件限制了“4D 感知”的解释范围。

Connection

我的解读是，可读结构有助于诊断模型，却不天然构成物理约束。建议用独立传感器检验输出是否相互一致，并做同数据的联合／单任务对照；再改变相机运动或对象接触，检查结构化预测能否反映真正的动力学变化。

Motivation

统一模型能看图也能画图，不代表生成分支学到的结构已经被理解分支利用。关键是能否把空间信息按正确位置接回去。

Summary

DiFuse 在原生扩散分支中途提取特征，经压缩、卷积适配与网格对齐，残差注入理解解码器的视觉 token；不需要解码出最终辅助图像。

Insight

§3 的固定生成提示要求深度图，扩散推进到选定时间后停止。原模型冻结，只训练适配器与解码器 LoRA，使用原有自回归 SFT 损失，没有额外几何损失。训练特征可以缓存，但新输入仍需要提取，不能把离线缓存误写成部署完全没有生成分支开销。

表 1 的 UniWorld-V1 对照保持指令数据和优化设置相同，空间平均分由 SFT 的 71.88 升到 73.68；通用平均分为 71.94。OmniGen2 的空间增益更小，通用平均分反而低于其 SFT 对照，因此证据支持选择性的空间帮助，不是所有能力一致提升。

Connection

我的解读是，统一能力的收益可能来自可定位的中间表征，而不必先完整画图。进一步可以固定额外计算预算，比较中间特征、真实深度和无空间对齐特征；若扩展到视频，还应另测时间对齐，不能直接把单图问答增益叫作动态世界理解。

Motivation

生成一张辅助图并答对问题，仍可能只是语言先验在起作用。要把自生成图像变成可靠监督，首先得判断图像究竟提供了什么帮助。

Summary

SelfThinker 用冻结理解分支衡量辅助图对目标答案概率的增益，并以其他题目的图校准；通过验证的图作为教师额外上下文，蒸馏到只看原图的学生。

Insight

§3 区分真实答案与多数投票两种验证方向。生成侧用 flow matching 改善候选图；理解侧沿学生自己的文本轨迹做教师／学生分布的 JSD 蒸馏。测试时输入原图和问题，只生成文字，不再画中间图；“无人工辅助图标注”也不代表主实验没有答案标签。

表 2 在统一评判器及纯文本解码下，七项平均由 ThinkMorph 的 52.7 到 64.0；投票版本为 63.4。§4.4 的视觉搜索验证 AUC 为 0.660，说明筛选信号有辨别力却远非完美。平均提升不能替代逐项错误分析，尤其不能保证自举验证总会识别错误图像。

Connection

我的解读是，生成能力可以作为训练阶段的证据来源，部署接口保持简单。更值得追问的是：当多数答案本身错误时，验证器会不会强化共同偏差？可控制答案可靠性与图像质量分别做干预，检验改善究竟来自视觉证据还是教师上下文。

Motivation

新角色、新场景和新动作要在同一生成系统里组合，单靠文字提示很难精确控制骨骼运动，更难保证游戏状态与画面始终对应。

Summary

Wizard 把角色骨架和场景几何编成代理视频，用显式状态控制器更新动作、碰撞和血量，再由视频生成器按照代理与参考图渲染。

Insight

§4 输入包括场景图、角色参考和玩家控制；先重建近似几何、绑定骨架并检索重定向动作。角色区域掩码限制参考图注意力，变身时阻断旧身份缓存；状态由控制器维护，战斗判定不依赖生成画面的“想象”。

生成骨干经过因果适配、一致性蒸馏和自身 rollout 上的分布匹配蒸馏，报告两步去噪、24 FPS。§5 的新角色与场景结果主要是配对代理／生成帧的定性展示，没有足以支持普遍领先的量化对照。启动前还有场景与角色准备过程，实时帧率不能解释为从任意图片立即完成初始化。

Connection

我的解读是，把可编辑的骨架和几何暴露出来，是一种清楚的控制接口。下一步更值得测的是代理执行正确时渲染仍失败的比例，并把动作库覆盖、身份泄漏与新场景失真分开归因，而不是只展示几个看起来流畅的组合。

Motivation

换一个位置听到的声音，不该仍保留原相机处的远近变化。动态场景中的声音需要跟随对象，而不是永远贴在输入视频的观察位置。

Summary

SonoWorld4D 将单目视频拆成静态背景和动态对象的四维表示，再在对象空间与相机空间之间同步音频扩散，使声音能随新的监听轨迹重新渲染。

Insight

§4 先对前景轨迹与背景做尺度和局部位置对齐；音频采样中通过正向声学渲染、声源分离与近似逆变换约束两个空间。它是无需新增训练的组合框架，不是把动作输入进动力学模型来预测新事件。声学模型面向弱混响室外场景，忽略反射路径。

SonoScene4D 的 54 段视频均为 8 秒，并在不同于相机的位置录制声音。表 1 完整方法的声源方向角误差为 40.7°，仅视频生音变体为 46.1°。这支持对象空间同步对新监听位置的帮助，但误差仍不小，不能说空间声音已经精确恢复。

Connection

我的解读是，对象身份和世界坐标也能为音频提供持续锚点。可以进一步设计对象暂时不可见但声音持续、或对象位置改变后的返回测试，分别检验几何定位与声源绑定；这些是建议，论文的自由视点渲染不能自动算作已经完成这些持久性实验。

Motivation

多轮指令应改变场景，但不该不断重复已经结束的动作。持续场景描述与限时动作指令需要不同的有效期。

Summary

8B 视频模型区分持续描述和限时动作条件，通过因果注意力、生成历史训练与提示增强，统一文本和相机控制。

Insight

第 1、5–7 及第 9 节：Bench-4 明确包含 60 个场景、静态锚点和四组离开—返回轨迹，因而能直接检查相机返回时的场景表现。

对 Genie3 的胜／平／负为 13.3%／56.7%／30.0%，作者承认空间记忆落后。比较使用各自接口，部分基线还经过适配，不能把结果概括为全面领先。

Connection

我的解读：指令有效期和明确的返回测试，比泛称长视频更有价值。建议区分返回原场景与返回被动作改变后的场景；静态锚点重现，不等于持久动态状态正确。

Motivation

每个动作候选只执行一次，可能把后续运气当成候选质量。增加候选数之前，需要分清可选择收益与评估噪声。

Summary

通过重复延续、分开选择与评分的随机种子测量真实可选择空间，再用失败门与排序器实现闭环选择。

Insight

第 3–4 节、第 5.4 及第 7 节：恢复相同 MuJoCo 状态，对候选做重复延续。在固定 WAM 之外训练逻辑回归失败门与岭回归排序器，后者读取动作条件想象的未来位置；只有失败门开启时才比较 12 个轴向偏移。

实验覆盖四个 WAM、两个基准及十万余分支。闭环成功率从 76.9%提升到 81.6%，未见任务从 62.6%提升到 69.8%。但在训练任务内，当前状态加方向的读出也接近完整排序器，收益并不必然依赖想象。

Connection

我的解读：先问候选是否有可实现收益，再问评估器能否找到它。建议 best-of-N 研究采用留出延续协议，避免把候选数量增加本身当成能力证据。

Motivation

世界规则是否必须由视频模型隐式学习？若规则可以由程序检查，就应区分状态转移是否正确与生成画面是否执行了指定状态。

Summary

由代码引擎判断结果，生成器按对象框、持久属性与动态状态渲染；训练依次进行布局 grounding、状态变化与自生成历史适配。

Insight

选读方法、实验、引擎协议及消融和局限附录。PairedStateBench 成对成功率为 97.3%，基线最高 16.2%；末阶段蒸馏将结果从 67.6%提高至 97.3%。

基准仅含 87 个案例、37 对分支，系统输入接口也不同。这支持显式引擎加渲染器的控制方式，却不证明生成器自己学会了因果规律，更不能写成统一输入下的公平 SOTA。

Connection

我的解读：让可检查程序负责规则，让神经生成负责外观。进一步可测试未见状态组合的渲染执行准确性；这是架构启示和实验建议，不是论文已经完成的泛化实验。

Motivation

RGB 预测承担大量背景外观负担，而控制更关心物体和机器人如何运动。需要检查动态监督是否真正帮助动作，而非只让预测视频更好看。

Summary

添加未来 3D 点轨迹监督强化动态表示，部署仍仅由当前观测预测动作。

Insight

第 3–4 节：RGB、语言、本体状态进入视频、B-spline 轨迹系数和动作三个分支；flow matching 结合动静平衡与静态 Smooth-L1 约束。动作分支并不读取未来轨迹，未来运动在这里是训练监督，不能混同为部署时规划输入。

LIBERO-Plus 为 84.5%；去掉深度后 82.4%，注入未来运动 latent 反而降至 81.6%。Piper 真机三个任务每项 20 次，平均 85.0%，对比 Fast-WAM 的 63.3%。

Connection

我的解读：动态监督有用，不等于部署必须消费预测动态。进一步实验应拆分标签质量、额外监督量和 3D 信息本身的贡献，而不是把所有提升归给未来预测。

Motivation

同类不等于同一个对象。先匹配再跟踪若在起始阶段认错，就可能持续追错实例。

Summary

把视频 DiT 改为 RGB 到掩码的 latent transport，在统一 token 空间处理第一、第三人称视频；通过跨视角注意力监督、困难负例和局部裁剪改善对应。

Insight

第 4.2–4.4、6.1–6.3 节与附录 F.3/G：整理的 Ego-Exo4D 子集明确测试对象延迟出现，以及两个视角可见时间不重叠的情况。

可见性与追踪保持表现有优势，但轮廓精度并非全面领先；不能把能持续找到对象与能精确分割对象边界合并成同一结论。

Connection

我的解读：应把对象存在、实例身份与边界准确度拆开测量。非重叠可见性可启发生成评测，但给定配对视频的推断，不等于生成世界在相机返回时自洽。

Motivation

人类视频丰富，却缺少可执行的机器人动作。怎样让视频里的运动知识参与动作学习，而不把视频理解等同于可部署控制？

Summary

将人手和机器人运动编码为共同的离散 CoD，用预测未来与真实后续视频的一致性奖励表征，让无动作标签视频参与训练。

Insight

第 3–4 节与附录 A/C/D：当前及历史 RGB、指令和状态作为输入，CoD 条件化预测冻结 DINO 空间中一秒后的特征。监督 token 交叉熵与未来特征损失之后，动态区域相似度用于 GRPO，同时保留监督回放；动作头使用 flow matching。

部署时不生成 CoD 或未来，因此不能把训练机制描述为想象 rollout 中的政策优化。LIBERO-PRO 的累加消融为：未来预测 50.4%，加入 CoD 后 54.4%，再加 RL 后 55.6%。

Connection

我的解读：这是用后果校验动作表示，而非部署时搜索。可进一步检验奖励改善的是可控动态还是特征匹配；不能仅凭 CoD 打乱消融就证明长期因果能力。

Motivation

统一离散扩散模型怎样利用不同范式的专家，而不硬套不相容的监督？教师强，并不保证其输出适用于学生当前的预测条件。

Summary

学生的自回归视图承接 VLM 教师，再约束扩散视图；图像侧让连续流教师修正学生输出，中间图像 token 状态支持渐进细化。

Insight

选读架构、自细化、两种蒸馏、实验、消融及速度局限附录。MathVista 从 71.5 提升至 77.0，而直接套用教师分数反而降到 47.7，说明监督接口对齐不可忽略。

ImgEdit 从 3.81 提升至 4.17，独立教师样本蒸馏为 3.90。文生图没有 OPD 教师，因此不能把文生图收益归因于跨范式蒸馏。

图像教师修正学生结果后再做 SFT，并不严格等同于传统 on-policy；所谓弹性是按任务加载双塔参数，不是 token 级动态路由。

Connection

我的解读：统一模型不必统一教师来源，但需要对齐教师上下文和学生预测条件。建议先审计监督接口，再评价教师强弱；强教师也可能产生错误的训练信号。

Motivation

视频先验是否必须在控制时生成未来视频才能起作用？训练中的共享知识与部署时的计算需求需要分别回答。

Summary

将动作时间步投影为视频 latent patch，让视频、视频动作联合及动作单独去噪共享骨干；部署仅做短动作序列的单步推理。

Insight

第 2–3、4.1–4.4 及第 6 节：单步机制依赖 zero-terminal-SNR 的 v-prediction，因此不能直接推广到所有 flow 骨干。

LIBERO 的 76%来自评估任务视频可见、但动作标签不可见的特殊迁移协议，不是标准榜单结果。实机分布内为 28/30；OOD 每个条件仅 5 次，对 DreamZero 的优势未达到显著性。

Connection

我的解读：应分开世界知识的训练来源与部署输出。建议分别评估预测质量、控制效果和计算成本，不以视频逼真程度推导控制可靠性。

Motivation

短片与粗字幕难以监督长程一致性，数据本身可能限制世界模型，而不只是记忆结构不够强。

Summary

数据集包含 1,655 小时游戏视频，结合分钟级连续片段、估计相机轨迹与分层事件字幕。

Insight

数据统计、第 5–6 节：正文在 103 个输入上评估 60 秒生成，同骨干 HY-World 微调后 3D 一致性从 66.94 提升至 73.42。

两分钟是数据片段的上限，不是已经验证的闭环交互时长。轨迹检验衡量估计器之间的一致性，也不等于相对真实位姿的精度。

Connection

我的解读：该资源可用于区分记忆结构与训练数据瓶颈。参考帧 CLIP 相似度受视角影响，不能替代相机回访后的状态测试。

Motivation

在线插入新主体，不应以破坏原有主体身份和场景为代价。参考信息既要让新主体进入画面，也不能持续覆盖已有历史；两项目标需要分别检查。

Summary

无需额外训练，把参考主体与当前场景组成联合 latent，暂时注入 KV 缓存；注入后恢复原全局缓存，同时保留新生成历史。

Insight

方法与实验选读见第 3–4 节、表 1/3 及附录 B。关键是限制参考特征对后续生成的持续干扰，而非无限增加缓存：临时注入解决新信息进入生成过程的问题，恢复原全局缓存则保护原有上下文，新生成历史仍可继续参与后续生成。

报告的 Existing-ID 得分为 73.18，对比在线 LongLive-2.0 的 42.29；Count 得分为 82.33，对比 73.90。这些结果支持关注旧主体保持与主体数量，但不能把自动 ID 得分当成身份识别准确率。

比较条件有重要边界：在线基线缺少视觉参考，离线方法又提前看到全部参考，因此不能把各方法视为同等信息量下的公平比较。消融还显示，旧主体保持与新主体相似度存在权衡；一项分数提高不代表所有身份目标同时改善。

Connection

研究建议：对持久对象研究，把新信息写入与旧身份保护拆成独立测试；进一步改变插入顺序、遮挡长度与主体数量，观察旧主体是否受新参考影响。这是延伸实验建议，不是论文已经完成的相机回访实验，也不应将缓存管理直接解释为显式三维世界状态。

Motivation

多机器人看到不同画面，却要在同一工作空间协作。拼接相机 token 并不自动建立位置对应。

Summary

将标定相机特征写入共享三平面状态，各机器人读取同一状态并交换相对位姿信息，同时保留独立动作流。

Insight

第 3.2–3.5、4.1–4.4 及第 5 节：训练时遮蔽部分视角但保留全部动作目标，使机器人利用伙伴观察；部署不生成未来视频。

RoboFactory 三个任务均值 74.0%，四个实机任务 78.8%。RoboFactory 使用修改后的相机配置，解释比较时需要保留这一条件。

共享状态仅在 3 个已观察 latent 时间步内从零累积。这是短历史聚合，不是经过验证的跨长程持久记忆。

Connection

我的解读：共享工作空间证据比简单图像拼接更值得检验。建议独立测试长遮挡、物体搬动和返回旧视点，控制成功率不能代替身份保持。

Motivation

适合重建像素的表示，未必最适合学习可生成的视觉知识。若只凭重建效果选取表征，可能混淆语义知识的获取与将知识渲染成图像的能力。

Summary

先用自回归预训练学习语义知识，再冻结骨干，加入扩散模块负责像素渲染。

Insight

第 2–3 节、表 1/2 及附录 A9 展示了知识学习与渲染分阶段的思路。冻结骨干后加入扩散模块，使后续像素生成不必与最初的语义知识学习采用同一训练目标；无重建解码器的语义 tokenizer 也能支持生成。

在匹配数据预算、约 400M 规模的实验中，GenEval/DPG 得分为 65.51/71.11，对比直接像素扩散的 61.16/62.56。重点是语义表征质量与重建质量可以分离，而不是证明单纯改用自回归就必然更好。

较大模型的成绩还包含提示改写和固定种子选择。这些额外条件会影响结果解释，不能将其全部收益直接归因于架构，也不宜用大模型榜单替代匹配预算实验来支持因果判断。

Connection

研究建议：对统一理解与生成，分别检查知识获取和渲染能力，避免只用重建分数选择共享表征。若把该思路迁移到视频，需要另测动态与跨帧身份保持，不能从静态图片结果推导出世界状态建模能力。

Motivation

重建型潜空间会保留难预测的像素细节；只优化可预测性又可能丢掉判断操作成败所需的信息。本文寻找两者的交集：让动作后果容易预测，同时仍能解码出可判读的画面。

Summary

先以重建和时序目标微调自编码器，再冻结它训练动作条件视频扩散模型；过去条件解码器另从历史图像读取外观，减轻未来潜变量重复携带静态内容的负担。

Insight

表示阶段输入相邻帧及动作：像素/感知重建损失保留信息；潜预测分支从当前潜变量和动作回归停止梯度的下一潜变量，逆动力学分支则从前后潜变量预测动作。辅助头随后丢弃，最终世界模型另行训练，因此不是把简单预测器直接当作部署模型。

解码器用交叉注意力读取过去帧。训练时读前一真实帧，rollout时始终读初始真实帧，并不循环写入最新生成画面。冻结表示后，diffusion-forcing DiT以帧内空间注意力、帧间因果注意力和逐帧去噪损失预测未来潜变量；机器人位姿变化及夹爪动作进入调制，再经时间注意力影响后续帧。

证据分两层：相同重建质量下，潜预测仍改善世界模型，但需要更多表示训练；加入过去条件解码器后，在相同更新预算下，OOD及长程误差降低15%–24%。仅加解码器改善画质，却未改善策略评估；加入潜预测，模拟—真实成功率相关系数由0.51升至0.62。后者在10步采样下汇总3种策略、17项任务，是模拟与真实成功率的相关性，不是执行成功率。

Connection

研究判断：VLA状态评价应分别报告重建、动作后果和策略排序。最小复现保留“普通/过去条件解码×有无时序损失”对照，并计入表示训练总成本；再分别扰动背景和抓取接触状态，检验收益来自外观平滑还是可操作状态。

待测想法：固定初始帧通路无法直接回答新区域与永久变化如何保存。可让相机离开、改变对象后再返回，分别测几何回位、身份连续和新状态保留；本文未做这种回访实验，也未建立对象级持久状态。

Motivation

历史检索既要判断“像不像”，也要判断“现在是否仍成立”。身份可以持续，位置、外观和是否存在却可能改变；把这些混成一个相似度，会让记得清楚与生成正确发生冲突。

Summary

固定生成器，分开测历史参考检索与视频结果，比较有无记忆。它不是新记忆网络的训练论文。

Insight

指令从自身生成历史检索3帧，经FLUX.2组成关键帧，再由Wan2.2生成视频并追加回历史；检索采用直接帧匹配、片段后均匀采样、DINO选帧或帧重排，没有学习状态失效。

30个故事中，检索提高召回，却损害精确率和禁现实体回避率。删除外观提示后，无记忆的长间隔角色召回从0.984降至0.565，此设置下长间隔角色召回的检索增益仍不显著；历史相似性不能单独证明记忆有用。

读法上的重点：这里的“记忆写入”是把生成结果存下来，不是对真实环境做一次可靠观测。若早期生成错了，后续检索可能忠实放大这个错误。因此应把错误链拆成观测/生成、存储、选择、条件融合四层，而非只给最终视频一个一致性分数。对工程设计而言，排查顺序应是先确认缓存里有正确证据，再问是否取到、是否用对；否则替换检索器可能修不了上游错误。

另一个容易误读的点：模型画出一个符合文字描述的人，只能说明“该类实体出现了”，不能说明“这个人就是前面那个人”。所以存在性、身份连续性、当前状态至少需要三个单独判据。一个系统可以在存在性上得高分，却每次重画新身份；也可以身份很像，却恢复了已经被修改的旧外观。

Connection

研究设想：持久状态可分身份层和事件层。前者保存稳定识别证据，后者记录对象何时因何观察发生变化；查询先确定时刻和状态，再取外观参考。这不是本文验证的方案，且保留历史版本不等于总用最新版，回忆或倒叙需要时间查询。

对 VLA 的新测试可更具体：机器人先把杯子从桌面放入柜子，关门后相机离开再返回。分别检查它是否仍认为杯子存在、是否知道其位置已改变、是否错误地在桌面重新生成杯子，以及再次开柜时能否恢复正确身份。把“未看到”与“已被移除”分开计分，才能发现视觉记忆是否被误当成当前世界事实；这些机器人与相机回访测试不是本文结果。

复现时我会额外检查两个因素的交叉：当前指令提供多少身份线索，实体在离开视野期间是否发生变化。四个格子都使用相同生成器，分别报告召回、误召回和状态错误，而不只做一个长间隔平均值。若收益仅来自提示详细、状态未变的格子，就不能把它解释为普遍的长程状态能力。

Motivation

动作成功率提高，可能来自更有效的训练监督，而非获得了可迁移的世界理解。论文把熟悉任务执行、行为变化与分布外迁移拆开，追问视频预测究竟改善了哪一层。

Summary

在 FastWAM、OpenWAM 内部只切换未来视频损失，再给 π0.5 添加训练后删除的轻量预测头。预测监督有明确执行收益，但大视频生成器并非取得该收益的必要条件，稳健迁移也没有随之成立。

Insight

受控变量：两个 WAM 家族各自固定架构、初始化、数据与训练步数，只改变视频损失权重；关闭损失并不删除世界模型模块。因而检验的是辅助监督的增量价值，不能把两个家族的绝对分数当公平架构排名。

轻量分支的信息流：三视角图像、指令与机器人状态形成 π0.5 共享前缀；动作专家照常生成连续动作。六层 Transformer 读取该前缀，预测加噪的未来视频 latent 流；目标由冻结 Wan VAE 离线编码九帧窗口得到，而非直接预测像素。

梯度与部署：视频损失更新共享视觉语言表征，却不直接更新私有动作专家；后者仍只受动作损失训练。轻量预测损失逐步升权，推理时整支删除。因此这里没有先生成未来再规划，也没有显式长期状态递推。

最有力的正反证据：π0.5 成功率由 82.94% 升至 89.19%，配对场景增益区间为 2.31–10.31 个百分点；部分轨迹簇占比近似不变而簇内成功率提升，收益不只是更常选某类粗轨迹。但环境随机化下各 WAM 配置最高仅 3.22%，训练内进步未转化为可用鲁棒性。

Connection

研究判断：应把“预测监督改善控制”与“世界模型支持反事实 rollout”分开验收。部署时可删除的预测头仍可能值得训练，但不能据此宣称策略具备可交互、持续更新的世界状态。

复现建议：先匹配容量、损失规模和训练预算，比较视频预测、对象位姿预测及非预测辅助头，并补多训练种子与接触/恢复指标。相机移开后返回、遮挡期间物体状态改变应另设测试；这些是建议，论文未验证。

Motivation

RGB、深度与自车运动描述同一个驾驶场景；若分别压缩，预测器既要学时间演化，又要补学模态对应，容易生成外观合理、距离与轨迹却不一致的未来。

Summary

DriveUniTok 先把三种输入压成可共同解码的 clip latent，再冻结 tokenizer，训练 DriveUniWAM 联合预测场景与轨迹，并用规划奖励后训练。未来动作是输出，不是外部指定的控制条件。

Insight

输入到状态：五帧 RGB、投影 LiDAR 深度和相对自车位姿，经共享 query 交换信息后做因果时序压缩，得到 584 个连续 token。所谓图像/ego query 是初始化区别，不是隔离的模态槽。共享解码记忆再分别读出每帧图像、深度和位姿。

训练约束：tokenizer 同时优化外观与感知重建、有效 LiDAR 像素深度、位姿、语义特征及瓶颈正则，避免只保留漂亮像素。冻结后，以干净历史 clip 为条件，对两个未来 clip 做 flow matching；未来 token 联合去噪，条件还包括车辆当前运动状态与路线。

时间与动作：相邻 clip 共享边界帧，各段局部位姿经坐标变换接到前段末端。模型由同一未来 latent 解码场景与自车轨迹，而不是先接收一条候选动作再模拟后果；这个接口更接近联合预测策略，尚非任意动作条件模拟器。

证据与预算：同传感器、数据、骨干和 584-token 下游预算，统一模型 PDMS 为 91.0，分流对照为 87.5。相对保留完整容量的分流模型，DiT 单去噪步计算少约 52%，不等于端到端提速翻倍。后训练只更新去噪器 LoRA，以解码轨迹奖励及参考约束优化，PDMS 到 91.54；这不是 tokenizer 重训的收益。

Connection

研究判断：“共同可解码”提供了检查跨模态矛盾的接口，比简单拼接更有价值；但三种输出可重建，不自动证明存在对象恒常性或因果状态。

复现建议：先拆开跨模态连接、参数共享和解码可见范围三个因素；再固定候选轨迹，测场景预测是否服从动作。若要用于相机回访，还需额外的长期地图或对象状态，以及离开视野后再出现的身份、几何误差评测；论文没有验证这些延伸。

Motivation

海量视频没有统一的机器人动作标签；从前后帧提取的“动作”又可能混入相机移动与静态外观。关键是让视频变化成为对控制有用的监督，而不只是可重构的压缩码。

Summary

RynnLAM把两帧变化编码成带3D约束的连续潜动作，用来预训练VLA，再以机器人示范适配原生动作输出。它提供视频到动作监督的接口，而非持续维护场景的世界状态。

Insight

方法链条：两帧特征先做门控差分，得到局部运动、全局动作与相机三个分量。运动分量预测未来特征残差；动作分量结合深度预测相机补偿后的3D流，并用对比特征对齐抑制零运动解；相机分量预测位姿，梯度反转减少动作分量泄露相机运动。完整608维标签仍包含相机分量，并不相机不变。

训练与执行：先训练RynnLAM，再离线标注视频。VLA根据多视角观测和语言，以flow matching预测潜动作块；机器人后训练才加入本体状态，把输出投影换成原生动作。执行时直接生成动作块，整块执行后重规划，不需要再解码潜动作；未来帧只用于离线标签。

关键证据：相对末端位移探针MSE为0.38；移除残差约束、3D流、梯度反转后分别为0.57、0.50、0.49。同子集的策略对照中，潜动作监督偏向扰动鲁棒性，显式动作对齐则在常规LIBERO更强，并非各方面都占优。

Connection

研究解读：相对位移探针比绝对姿态更能排除“看见机械臂就猜对”的捷径，却仍只证明动作可预测。机器人推动、相机绕行与物体自主运动都能改变视频；能编码变化不等于能识别由谁控制。

复现建议：固定机器人轨迹、只改变相机路径，分别测动作分量和完整标签的稳定性；再匹配表示维度与训练预算，检验保留相机分量的利弊。该干预并非论文已报告的实验。

对长期状态建模，更适合把潜动作当作更新提议，而非记忆本身：短时变化不保存遮挡对象的身份和最新属性。可以增加“离开—物体改变—返回”的独立测试，检查状态是否被错误恢复到过去。

Motivation

长视频分窗生成时，后窗可能重写历史，或使用与旧画面不一致的深度。UniWorld处理的是外部几何世界与生成器的接口：让视觉历史、几何条件和时间索引同步，而非自行学习物理动力学。

Summary

将几何轨迹统一为深度条件，用噪声对齐的历史投影和滚动深度状态驱动同一视频生成器；旧内容只作条件，新窗口仅追加新后缀。

Insight

输入到输出：参考图与文本提供外观，上游录制数据或模拟器提供相机对齐深度；深度经VAE进入Union控制分支，DiT据此生成RGB。最初图文表征整段固定，新窗口的单帧条件则取自已生成的边界画面。动作后果由上游几何源给定，不是模型直接预测。

历史怎样保留：每步flow更新都把重叠前缀替换成当前噪声级对应的历史与噪声混合，避免把干净历史塞进带噪序列。到终点精确恢复原历史，再只追加新后缀。深度重叠区也直接保留，只读新时间段；采样中深度固定，但依赖带噪视频的控制特征每步重算。

系统没有新增联合训练，而是组合已发布生成器。24例中滚动与直接读取输出完全一致，验证了状态接口；它不是画质增益。严格固定首窗与提交边界的对照只显示接缝LPIPS改善0.00195，续段PSNR和时序误差区间包含0；fresh-history-noise甚至接缝稍好。

最值得关注的是回访失败：同一小房间3个条件在20秒返回初始视点，生成回访LPIPS为0.2635–0.4769，GT仅0.0056–0.0118。旧latent完全保留，也不妨碍新视图重新画错旧地方；“不改历史”与“重新看见时正确”是不同性质。

Connection

研究解读：应分开缓存字节不变、几何控制不变、重访外观正确三种一致性。前两项可由系统契约保证，第三项需要跨越视野消失期的表征；局部深度窗口并未自动提供对象身份或持久外观。

复现建议：先沿用共享首窗、固定窗口边界的对照，再改变回访间隔，并比较静态房间与对象已发生变化的房间。分别测背景复现、对象属性更新和错误“复活”，不要以更像起始帧奖励恢复旧状态。这是扩展建议，非论文结果。

Motivation

会执行抓取，不代表能发现任务、理解隐含需求或在失败后恢复。RAB把这些环节拆开，诊断操作能力与自主性之间的差距。

Summary

从一个真实家庭重建并扩展50种布局，以90个原子任务组合多层评测，统一比较独立VLA/WAM与“规划—执行—核验”代理。

Insight

输入包括头部/双腕RGB、本体状态、上下文及逐步揭示的地图，输出统一为22维机器人命令。示范生成可用仿真真值，评测不能混用该权限；论文提供共同数据和接口，并非提出新动作损失。

发现与推理主要要求触碰正确对象，降低抓取失败对推理评分的污染；开放场景不提供任务清单，另测覆盖、进展、恢复和停滞。混合代理可先用代码对准夹爪，再调用VLA抓取；核验反馈用于重规划。RSI改进的是可复用控制工具，不是在线更新VLA权重。

InternVLA-A1.5独立策略的任务平均分/开放场景进度分为18.0/1.0，加入Codex混合执行框架后为48.5/15.4，注意不是任务成功率。每项30实例；代理仍常反复卡在同一子任务，匹配子集的实机成绩通常低于仿真。

Connection

可复现检验（编辑建议）：固定执行器、实例和动作预算，对比无状态、进度表及失败证据状态；在抓取落空、物体被移走后，测正确重规划与停滞时间。关键是“发出动作”不能直接写成“状态已改变”，论文尚未独立检验持久对象记忆。

Motivation

单帧扩散能补稀疏视角缺失细节，却可能把时序冲突写成持久的漂浮几何。难点是哪些生成内容值得写入4D状态。

Summary

DUET4D让当前4D高斯约束冻结的单帧恢复器，再筛选恢复证据更新高斯，循环改善动态场景重建，而非由动作预测未来。

Insight

先渲染虚拟视角/时刻并独立恢复，只对齐有界“恢复残差”，不搬运整张RGB。对应来自同一规范高斯变形后的投影，深度、循环、光度和可见性共同形成置信度；所有独立结果先算完再聚合，避免轮内递归放大错误。

冻结恢复器分别读取原渲染和时空锚点，在潜空间比较两路预测方向并按置信度引导；低置信区域退回独立恢复。随后只把跨视角/时间反复支持的残差用于增密，结合真实观测剪除冲突高斯，再施加空间及时间平滑，生成下一轮锚点。

Neural 3D Video上普通扩散tPSNR为36.33，完整引导37.99；匹配SparseCam4D预处理的DUET4D*，PSNR为22.04对21.33。该对照有助排除预处理收益。所报FPS是重建后的渲染速度，不是优化速度。

Connection

可复现检验（编辑建议）：固定恢复器，分别关闭残差对齐、置信门控和真实观测剪枝，看短暂幻觉是否在遮挡后残留。可借鉴的是“证据足够才写入状态”；高斯对应并不等于语义对象身份，论文未测动作rollout或相机返回。

Motivation

历史记忆不等于有效状态：旧请求可能已撤销，计划尚未完成，助手建议也不是观察事实。流式助手必须分别管理这些信息。

Summary

StreamVibe训练视频策略决定等待或回应，另用Harness维护意图、进度和记忆；4,100样例同时评估单点判断与使用自身历史的完整交互。

Insight

每次只读取已到达的视频和请求。Harness用带ID、时间和来源的事件更新活动意图、观察进度与已送出回应，并去重；持续监测回应一次后仍有效，临时问题完成才关闭。状态匹配不直接触发输出，是否回应仍由策略决定。

记忆分近期画面、中期摘要和旧文本，辅助VLM负责压缩；按词项、时近性和时间锚点检索事实与有序转移。检索只提供历史证据，不能自行创建或撤销意图，新观测明确推翻旧状态时优先。

SFT平衡等待/回应权重并监督内容；局部轨迹GRPO把时机与内容奖励相乘，用一对一匹配惩罚重复，再加轨迹一致性奖励。SFT提高召回也增误触发，RL改善选择性；固定策略加Harness后，动态意图下多余回应进一步减少。

Connection

可复现检验（编辑建议）：固定策略和上下文预算，比较仅检索、仅当前状态及二者分离；插入旧目标取消、新约束叠加和重复事件，测过时回答与漏报。对world-state最可借鉴的是证据时间和失效规则，而非无限扩展缓存。

Motivation

单条物理轨迹无法提供真实反事实标签，连续距离奖励还可能让始终答错的模型靠猜中间值获益。

Summary

PhysEvolve让共享VLM提出可执行世界并解答视频问题，由独立模拟器冻结初态、执行干预分支并绑定唯一正确选项，联合训练出题和解题。

Insight

输入世界是含几何、物性、初态、约束及对象角色的PhysDSL程序，不是视频latent。执行器验证后冻结场景，事实分支与移除物体的分支共享初始条件和种子；解题器只看事实视频，不能读取反事实内部状态。多解、近临界或无效题被过滤。

解题用严格选项正确的0/1奖励；出题鼓励可执行、有效动态和结构多样性，课程按滚动正确率挑选适中难度，再共同做GRPO。朴素单轨迹对照100轮未生成干预题，前向连续奖励0.373却严格正确率为0，说明验证接口决定能学到什么。

同一Qwen3-VL-8B上，ContPhy移除反事实准确率44.26%→51.64%，PhysBench总分仅增0.55点，收益集中于目标能力。关闭分支及依赖题族后为43.44%，但训练暴露量也减少，不能把差值完全归因于分支机制。

Connection

可复现检验（编辑建议）：把对象状态做成可干预接口，固定其余初态，只改变一个实体或动作；再做同题族、样本量与预算的分支消融，区分反事实信息与额外训练的贡献。这是问答监督设计，不能直接当作机器人控制证据。

Motivation

多个观察者各自生成的顺畅视频，可能对“有谁、相对在哪里、怎样移动”给出互不相容的答案。

Summary

FlockWorld在100个Boids的二维世界中选2至30个相机代理，FlockDiT联合生成局部视图，用互见、相对位移和运动检查共享世界一致性。

Insight

数据把实体数与观察者数分开：彩色Boid对应相机代理，白色是环境实体，加速度来自邻域群集规则。先训练因果视频VAE并冻结，再以flow matching训练DiT；时间注意力因果，同一时刻允许跨代理交流。

代理嵌入方案把各自动作注入自身token；平铺方案用空间RoPE区分视图，却把带身份标签的动作汇总广播，因此对照也改变了动作路由。Diffusion forcing给历史和目标都加随机噪声，使模型适应滚动时不完美的上下文，另有先单代理再多代理训练。

测试从两个真实latent帧出发，重放动作生成10秒，共28个未见episode。观察者数10和30时，联合生成在相近检测密度下检出更多代理；部分其他设置会过度生成，虚增互见率。必须同时看数量、相对位移/运动及同人数下的VAE检测上限。

Connection

可复现检验（编辑建议）：在生成状态上重算动作，区分视觉一致性与闭环动力学；加入实体计数和固定身份检测后再测观察者回返。可借鉴A、B对彼此位置和共享背景的交叉约束，但论文未做几何相机回访。

Motivation

视觉重建不自动提供可交互的物体、碰撞体、关节和物性；资产转换错误还会传到机器人训练。

Summary

SceneAgent用代理组织重建、物理建模及模拟器检查，把3D/4D捕获变成可编辑场景，再生成扰动场景和示范供VLA训练。

Insight

静态路径从3DGS和跨视图掩码关联物体，生成网格、对齐位姿、补全背景，再检查资产及关节。物性先验的标签来自VLM而非实测，审核也只是自动估计；可互动不代表质量、摩擦或隐藏几何真实。

4D路径估计相机，选择材料模拟器，拟合初态与参数使渲染匹配视频；固定粒子/顶点索引形成材料轨迹，最终脚本不再读视频即可重建。它是显式模拟器状态，不是通用视频latent；拟合一条运动也不保证参数唯一或能预测新交互。

仿真真值驱动专家控制，过滤失败示范后微调预训练VLA；失败修复可补相近场景再成对验证。成对重建中，杂乱箱场景Codex的1厘米F1为9.51%→60.75%；动态测试仅3个合成案例，dynamic IoU是图像掩码重合而非3D或动力学正确性。

Connection

可复现检验（编辑建议）：分开验收渲染拟合、材料身份连续与新干预预测；改变接触位置/作用力检查物性是否仍有效，再测回到旧视点。显式轨迹提供可查状态，但论文未给相机回访证据。