01 · 图表查数
2015年国防预算占GDP的比重是多少
答案1.30%
证据
1.30%01 · LEADERBOARD
ViDoRe V3 public
8个公开领域×6种查询语言，nDCG@10，官方reproduce.py协议实测。
| 模型 | 参数 | Token维度 | V3 public |
|---|---|---|---|
| RANK 1Evie-Preview-4.5B | 4.54B | 128D | 65.36 |
| webAI ColVec1.1-8b | 8.40B | 640D | 65.32 |
| webAI ColVec1.1-4b | 4.54B | 640D | 63.90 |
| nemotron-colembed-vl-8b-v2 | 8B | — | 63.54 |
| tomoro-colqwen3-embed-8b | 8B | — | 61.60 |
| nemotron-colembed-vl-4b-v2 | 4B | — | 61.42 |
| tomoro-colqwen3-embed-4b | 4B | — | 60.16 |
| llama-nemotron-colembed-vl-3b-v2 | 3B | — | 59.70 |
| colnomic-embed-multimodal-7b | 7B | — | 57.64 |
| jina-embeddings-v4 | ~3.8B | — | 57.54 |
两档部署配置
同一份权重
不重训、不重新导出，按算力预算选档。
| 每页visual token | V3 public | 向量/页 | 百万页BF16原始索引 |
|---|---|---|---|
| 768 | 64.56 | 751.62 | 179.2 GiB |
| 1,792 | 65.36 | 1,763.58 | 420.5 GiB |
两档同一份权重，页面预算调大后8个领域涨了7个。轻档百万页索引不到180GiB。
ViDoRe V1 + V2 · nDCG@5
经典榜也是第一
14个任务，官方口径实测。分榜V1 91.73、V2 70.87。
| 模型 | 参数 | V1+V2@5 |
|---|---|---|
| RANK 1Evie-Preview-4.5B | 4.54B | 85.77 |
| Ops-Colqwen3-4B | 4B | 84.90 |
| nemotron-colembed-vl-8b-v2 | 8B | 84.80 |
| nemotron-colembed-vl-4b-v2 | 4B | 83.90 |
| colqwen3.5-4.5B-v3 | 4.54B | 83.70 |
| llama-nemotron-colembed-vl-3b-v2 | 3B | 83.60 |
| tomoro-colqwen3-embed-8b | 8B | 83.50 |
| EvoQwen2.5-VL-Retriever-7B-v1 | 7B | 83.40 |
| tomoro-colqwen3-embed-4b | 4B | 83.20 |
| SauerkrautLM-ColQwen3-8b-v0.1 | 8B | 82.90 |
LOCAL LEDGER
四榜均分
本地138任务固定协议，含JinaVDR。每列只加粗当前表内最大值。
| 模型 | V1@5 | V2@5 | V3@10 | Jina@10 | Avg4 |
|---|---|---|---|---|---|
| 发布版Evie-Preview-4.5B / v0.9 × v0.8 a060 | 0.9187 | 0.7080 | 0.6452 | 0.8267 | 0.7798 |
| EVIE gamma 0.30 | 0.9167 | 0.7224 | 0.6430 | 0.8251 | 0.7804 |
| EVIE gamma 0.20 | 0.9164 | 0.7211 | 0.6431 | 0.8250 | 0.7807 |
| v0.9 × v0.8 a040 / 768 档 | 0.9165 | 0.7143 | 0.6452 | 0.8268 | 0.7801 |
| v0.9 × v0.8 a030 | 0.9173 | 0.7080 | 0.6450 | 0.8267 | 0.7804 |
| remine judged a080 | 0.9164 | 0.7176 | 0.6437 | 0.8246 | 0.7806 |
| v0.9 seed merge | 0.9186 | 0.7034 | 0.6412 | 0.8277 | 0.7778 |
发布版官方reproduce.py协议实测：V1 91.73 · V2 70.87 · V1+V2 85.77 · V3 public 64.56 @768 / 65.36 @1792。82个完整run的envelope出自四个模型。
02 · CASES
我们要解决的问题
10个真实样例，中英法日四种语言。答案埋在图表刻度、跨页正文和表格单元格里。
02 · 图表对比
1990年到2011年巴林新生儿死亡率与五岁以下儿童死亡率哪个更高？
答案五岁以下儿童死亡率更高
证据
Child (before age 5)；Neonatal (first 28 days of life)
03 · 图表推理
2016年至2021年电商销售额增长率何时跌破20%？
答案2019年
证据
17.5%
04 · 图表难题
2020年1月到2024年1月期间，哪家车企的累计渗透率曲线在2021年下半年出现最陡峭的上升并率先突破90%？
答案比亚迪
证据
比亚迪；2021-07；2021-10；100%
05 · 图表主题
2017年至2022年产能和产能利用率的变化趋势
答案产能2.16→7.00万吨，利用率22.2%→104.3%
证据
产能/万吨；产能利用率；2017；2022
06 · 多图联查
2024年第一季度房地产服务投诉中，房产证和延期交房相关的词频数据及分布情况
答案房产证5170，延期交房1121
证据
2024年第一季度房地产服务投诉词云
07 · 字段抽取 · 日文
平成28年市内火灾发生的总件数是多少
答案54件
证据
総出火件数（件）54
08 · 文档对比 · 法文
2023年LVMH集团Vins et Spiritueux业务中，香槟和葡萄酒的销售额占比与干邑和烈酒的占比分别是多少？
答案52%；48%
证据
La part des champagnes et vins est de 52 %, celle des cognacs et spiritueux de 48 %.
09 · 跨页检索 · 法文
牛顿和爱因斯坦关于引力本质的观点有何不同？在什么情况下可以使用牛顿的近似？
答案力 vs 时空弯曲；地球尺度下牛顿近似足够
证据
Vision classique (Newton 1680)；Vision relativiste (Einstein 1917)
10 · 流程理解
pyNastran 1.4.1 版本是什么时候发布的？
答案2024/3/25
证据
v1.4.1 (latest is from 2024/3/25)点击任意页面看原图。这10条来自EVIE-VDR评测集，任务类型覆盖图表查数、图表推理、跨页检索、字段抽取与文档对比。
03 · COST
索引成本
原生128D token向量，两档预算下的原始索引规模。
| BF16原始索引 | 768 token/页 | 1,792 token/页 |
|---|---|---|
| 百万页 | 179.2 GiB | 420.5 GiB |
| 1000万页 | 1.8 TB | 4.1 TB |
索引计算：1,763.58 向量/页 × 128 维 × 2 字节 × 1,000,000 页 ÷ 230 = 420.5 GiB。
04 · DATA
VDR数据集
此前建成的训练数据集。难负例先判定，再决定转正、掩码或保留。
8B miner→395B 证据判定→FULL 转正 / PARTIAL 掩码→group-aware 多正例训练
05 · BENCHMARK
EVIE-VDR
标注与评分链路已冻结。1,180个Query中1,014个满分，v0.1只作内部诊断。
中文 Query 检索跨语言页面，使用 Query-specific 候选池和 graded relevance。Supervisor–Annotator–Adjudicator 完成二审与仲裁，候选顺序已改为 label-blind 哈希。v0.2 将增加新页面、模型分歧候选和 Top-K judged coverage。
Query / 页面1,180 / 6,784
qrel / 最终标签5,411 / 4,978
Parent nDCG@100.9734
06 · POST-TRAINING
EVIE
只训练Query侧，文档索引不需要重建。
Evidence-Supervised Retrieval Post-Training
四个证据槽通过128维有界residual调整Query，Parent与文档编码器全程冻结。仅431K新增参数，就把V2@5从0.7176推到0.7224、V1+V2从85.96推到86.11，两项都是全仓最高。
EvieAux431K参数 · 2层
Gamma五档0.02 / 0.05 / 0.1 / 0.2 / 0.3 全部出分
V2@5 最大增益+0.472pt @ gamma=0.3
门控使用率68.5% → 60.5%，未触顶