科幻切片评测
本评测用于评估文生图模型能否直接产出具备院线电影成片级别质感的静帧。 请先完整阅读开标说明,再按固定顺序作答。 全程盲测、不显示模型名称;作答时请对照每题提示词要点,并可随时回看开标说明。
固定流程
-
① 阅读开标说明共用规则 · Arena / GSB 要点 · MOS 量表;未阅读不得开始作答
-
② Arena 对战同题双盲 · A / 平局 / B · 0 / 72
-
③ GSB 对照对照 vs 候选 · Good / Same / Bad · 0 / 36
-
④ MOS 分维先对齐门槛 · 再五维 1–5 · 0 / 48
-
⑤ 导出结果全部完成后导出 JSON,供后续统计分析
开标说明(必读)
请完整阅读下列内容。确认后才能进入作答;作答过程中也可从顶栏「开标说明」随时回看。
一、三条协议分别做什么
- Arena:同一道题、两张盲测图,选哪一张整体更接近院线成片质感(A 更好 / 平局 / B 更好)。
- GSB:左边是固定「对照」图,右边是「候选」图;判断候选相对对照是更好(Good)、差不多(Same),还是更差(Bad)。
- MOS:每次只看一张图,按五个维度各打 1–5 分。
二、共用决策规则(Arena / GSB / MOS 都遵守)
- 判断顺序:先看有没有按提示词生成到位(对照本题提示词要点:该有的景别、元素、人物关系、互动是否出现)→ 两边都大致按提示词生成之后,再比场面调度 / 灯光动机 / 镜头光学 / 表演质感(若适用)。
- 如果一方明显没按提示词生成(缺关键元素、关系反了、景别完全不对等),不能因为「更好看」判它赢。
- 全程盲测,界面不显示模型名称。
三、Arena 怎么选
- 选项只有三个:A 更好 / 平局 / B 更好;左右位置随机,不要猜哪边是哪个模型。
- 先比「有没有按提示词生成」;都差不多时,再比场面调度、灯光动机、镜头光学、表演质感(若适用),看谁更接近院线成片质感。
- 各有得失、难分高下时选平局,不要硬分胜负。
- 举例:一张场面调度和灯光都对,只是清晰度略差一点;另一张更华丽,却缺了提示词要求的关键互动 → 选前者。两边都按提示词生成、只是锐度或色温口味不同 → 平局。
四、GSB 怎么选
- 界面只显示「对照 / 候选」。你只判断候选相对对照:Good(明显更好)/ Same(差不多)/ Bad(明显更差)。
- 判断顺序与 Arena 相同:先看有没有按提示词生成,再比场面调度、灯光动机、镜头光学、表演质感。
- 选 Good 或 Bad 时,心里要能指到具体点(例如缺了提示词要点里的某项,或灯光动机明显不对),不要凭「感觉更高级」。
- 举例:候选更锐但漏了关键调度 → Bad;只是颗粒或锐度口味不同 → Same。
五、MOS 怎么打(1–5)
必须先打语义对齐:看有没有按提示词生成到位。得分 ≤2 记为对齐失败,后面几维再好看也不能用来翻盘。气氛板等题「表演质感」可为 N/A。
五个维度:语义对齐 → 场面调度 / 灯光动机 / 镜头光学 / 表演质感。
量表以 1 / 3 / 5 为锚点;2、4 表示介于相邻锚点之间的过渡档(例如 2 明显好于 1,但仍远未到 3)。