EVIE 开源打榜进展

V4 · 正面对标 Qwen3-VL-Embedding-8B · 交付口径 K128×d64 int8(8 KB/条)+ MaxSim

三根支柱

场景 → 数据 → 模型

知识库场景定义要赢的检索任务,标注 / 负例 / 蒸馏把有限数据用到极致,ST-HAC 与两级检索把多向量压到 8 KB。数据量比千问、WeMM 少两个数量级。

支柱① 通用榜:MMEB

论文口径 · 待 P0 出分
MMEB-V3 是 V2 的超集:190 个任务 = V2 的 78 个(图像 36 / 视频 18 / 视觉文档 24)+ 文本 53 + Agent 47 + MCMR 1 + 音频 11。千问论文的头条成绩是 V2 总分,所以两个都报:V2 对齐论文口径,V3 看全面能力。音频不做,记 0。
MMEB-V278 集,论文头条口径 · 目标 ≥ 78.5
MMEB-V3190 任务 = V2 全部 + 新增 112 项 · 目标 ≥ 55.0

EVIE 一列在 P0 评测封装跑完后自动填入;「训练覆盖」指我们在 V3 主线里训过的任务类别。

支柱② 知识库差异化

文档 + 电商 · 只对千问

文档检索每集都要超过千问 8B(v3 已领先 4.63),电商视频拉开 ≥ 7 分。

文档六集NDCG@10 · 目标每集超千问 8B
电商视频M5Product 冻结集 2,000 条(131 类配平)· nDCG@10
知识库真实场景知识库真实场景(业务集,Top1,306 口径;EVIE − Qwen3-VL-8B)

进行中

自动采集

训练 / 精标 / 数据下载,由 collect.py 每次发布前从日志与清单里读取。

路线

P0 → P4

视频检索迭代

V3 主线 · 四集 nDCG@10 均值

四集 = MSR-VTT / MSVD / DiDeMo / VATEX 的均值;绿点为现行交付,蓝点为最好版。

分集对照括号内 = EVIE 最好版 − 该模型

这一步能拿多少:输入侧探针与上限

307A 权重不变 · 只换输入

探针模型 = 307A(v307a-epoch1,当前最好版),不是 306、也不是 309A;权重与训练全不动,只在评测时把 ≤16 帧片段的帧短边放大到阈值。交付口径 K128×d64 int8 + MaxSim;脚本 code/exp_deploy/probe_upscale.py;集 = MSR-VTT 1,000×1,000、MSVD 27,763×670;本机 3×H20,每档 encode 12 min + 打分 4 min。

上限对照决定这一步值多少

结论:放大是便宜的 +0.4~0.5,把短片三集与千问的差距从 −1.07 收到 −0.77、四集均值的领先从 +1.18 扩到 +1.40;但补不平 −1.5,剩下的大头要帧间交互(原生视频编码)与重挖难负例。VATEX / Charades 未做放大,数字不变。

当前问题

按影响排序