EVIE 开源打榜进展
V4 · 正面对标 Qwen3-VL-Embedding-8B · 交付口径 K128×d64 int8(8 KB/条)+ MaxSim
三根支柱
知识库场景定义要赢的检索任务,标注 / 负例 / 蒸馏把有限数据用到极致,ST-HAC 与两级检索把多向量压到 8 KB。数据量比千问、WeMM 少两个数量级。
支柱① 通用榜:MMEB
MMEB-V3 是 V2 的超集:190 个任务 = V2 的 78 个(图像 36 / 视频 18 / 视觉文档 24)+ 文本 53 + Agent 47 + MCMR 1 + 音频 11。千问论文的头条成绩是 V2 总分,所以两个都报:V2 对齐论文口径,V3 看全面能力。音频不做,记 0。
MMEB-V278 集,论文头条口径 · 目标 ≥ 78.5
MMEB-V3190 任务 = V2 全部 + 新增 112 项 · 目标 ≥ 55.0
EVIE 一列在 P0 评测封装跑完后自动填入;「训练覆盖」指我们在 V3 主线里训过的任务类别。
支柱② 知识库差异化
文档检索每集都要超过千问 8B(v3 已领先 4.63),电商视频拉开 ≥ 7 分。
文档六集NDCG@10 · 目标每集超千问 8B
电商视频M5Product 冻结集 2,000 条(131 类配平)· nDCG@10
知识库真实场景知识库真实场景(业务集,Top1,306 口径;EVIE − Qwen3-VL-8B)
进行中
训练 / 精标 / 数据下载,由 collect.py 每次发布前从日志与清单里读取。
路线
视频检索迭代
四集 = MSR-VTT / MSVD / DiDeMo / VATEX 的均值;绿点为现行交付,蓝点为最好版。
分集对照括号内 = EVIE 最好版 − 该模型