Imported from lumos1596/DSCLR (.trae/skills/dsclr-exp-results/SKILL.md). Install upstream with npx skills add lumos1596/DSCLR --skill dsclr-exp-results. Copyright stays with the author.

DeIR-Dual V2 实验结果速查

快速索引

FollowIR 评测结果

基准信息

论文：FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions
作者：Orion Weller et al. (Johns Hopkins University, Allen Institute for AI, University of Glasgow, Yale University)
发表：arXiv:2403.15246, 2024年5月
会议：ACL 2024
链接：https://arxiv.org/abs/2403.15246

评测指标定义

target_avg = (Core17_changed_MAP@1000 + Robust04_changed_MAP@1000 + News21_changed_nDCG@5) / 3

pMRR: 衡量指令敏感度

RepLLaMA + Qwen3-4B 改写模型

参数策略对比

V5 训练集推导 — 逐数据集结果

δ=0.02（推荐，平衡方案）：

δ=0.0（高 p-MRR 方案）：

V5 分析

• 修复 τ 计算后：τ = Cos(Q_base, Q_neg) + δ（之前错误地使用 τ = S_neg + δ）
• δ=0.02 方案：target_avg=0.2841，超过网格搜索(0.281)，同时 p-MRR=0.1687 比网格搜索(0.1381)高 22.1%
• Robust04 MAP 从 0.2257 提升到 0.2533，提升 12.2%
• β 从 1.926 降到 1.32：修复后 at-risk ratio 从 0% 变为 ~5%，safe 文档减少，β 推导更准确
• α 从 1.0 降到 0.72：修复后 at-risk 文档的 Softplus 值更大，惩罚更有效
• δ=0.0（NP 阈值）：τ = Cos(Q_base, Q_neg)，动态阈值已捕获语义关系
• 推导过程：eval/first_principles_params_train.py，训练集 855 查询，878 正例，12825 负例
• 来源：results/train_derived_params.json

阈值方案对比（QD-Max 尺度安全方案）

背景：原始方案 τ = Cos(Q_base, Q_neg) + δ 直接使用 query-query 相似度作为阈值，可能被审稿人质疑 QQ 相似度与 QD 相似度不在同一尺度。QD-Max 方案显式定义 QD 空间统计下界，通过 max 操作避免尺度混合。

方案定义：

• 原始：τ = Cos(Q_base, Q_neg) + δ
• QD-Max：τ = max(Cos(Q_base, Q_neg), μ(S_neg) + k·σ(S_neg)) + δ

测试集结果对比（V5 训练集推导参数，δ=0.02）：

关键发现：

1. QD-Max 与原始方案完全等价：所有指标完全相同，无性能损失
2. k=0 的原因：训练集中 Cos(Q_base, Q_neg) 分布双峰（60.4% 为 0，39.6% ≥ 0.40），qd_floor=μ(S_neg)≈0.18 对所有 Cos>0 的 query 不生效
3. 特殊处理：Cos=0（[NONE] 查询）时不应用 qd_floor，因为 q_minus 为零向量，S_neg 无意义
4. 审稿人友好性：QD-Max 显式定义 QD 空间下界，max 操作不混尺度，理论更干净
5. 实际保护：当未来遇到 Cos < μ(S_neg) 的异常情况时，qd_floor 会自动生效提供保护

• 来源：eval/experiment_tau_schemes.py, results/tau_scheme_comparison.json

Safe-Anchor 阈值方案（V6→V7）

背景：Safe-Anchor 方案用 LLM 生成的"无辜文档锚点"（innocent document anchors）估计负向惩罚阈值 τ = max(tau_anchor, cos_qbase_qneg) + anchor_delta，支持跨系列编码器泛化。

V6→V7 演进：V6 使用 quantity-based coverage_correction，在 anchor_delta>0 时会因 at-risk 近乎归零而爆炸（cc=28x），导致 α 严重高估。V7 去除 coverage_correction 并引入 β 补偿因子。

方案对比（RepLLaMA + Qwen3-4B）：

V7 推导参数（coverage_correction_mode=none, beta_compensation=2.0）：

关键发现：

1. Safe-anchor 方案无法超越 V5 baseline：即使到达网格理论最高点（综合最优 0.2809），仍低于 V5 的 0.2841
2. V7 修正了 V6 的核心缺陷：从 target_avg 0.2366 提升到 0.2789（+0.0423），主要来自去除 coverage_correction
3. coverage_correction 有害的原因：anchor_delta>0 时 at-risk 近乎归零（0.01%），quantity-based cc=28x 导致 α 爆炸；而 at-risk 中 94.2% 是真正 neg 文档，α_raw 已自适应阈值变化，无需额外校正
4. β 补偿的必要性：训练集 safe 文档以 pos（高 S_req）为主，测试集 safe 含大量无关文档（低 S_req），导致推导 β_raw 偏低（1.0-1.28），需 2.0× 补偿弥补 train/test 分布差异
5. 网格 target_avg 最高点（α=0.3）不可用：p-MRR 仅 0.077，指令几乎无效果，属于"轻惩罚=高 changed 指标"的退化解
6. V7 已逼近网格综合最优：target_avg 差仅 0.002（0.2789 vs 0.2809），p-MRR 反超 0.0086

• 来源：eval/first_principles_params_safe_anchor.py, results/train_derived_params_safe_anchor_v7.json, results/grid_anchor_d+0.02/

V7 跨编码器泛化验证（BGE-large-en-v1.5）

实验条件：仅替换编码器（RepLLaMA→BGE），其余不变（dual_queries_v6, safe_anchors, anchor_delta=+0.02, beta_compensation=2.0, coverage_correction=none）

V7 推导参数对比：

BGE 网格搜索最优（anchor_delta=+0.02）：

泛化性分析：

关键发现：

1. V7 机制成功泛化到 BGE：scale 模式 target_avg 与网格综合最优仅差 0.001（0.4%），与 RepLLaMA 上的泛化精度（0.7%）相当
2. β 补偿因子跨编码器有效：BGE 的 β_raw=1.10-1.18（与 RepLLaMA 的 1.0-1.28 同量级），×2.0 补偿后 β=2.20-2.35，落在 BGE 网格最优 β 区间（1.5-2.5）
3. scale_factor=1.27 是 RepLLaMA 特有的：BGE 的 tau_anchor_proxy/cos_qbase_qneg≈1.01（pos_docs 与 q_neg 对 q_base 相似度接近），而 RepLLaMA 该比值≈1.27；scale 模式在 BGE 上高估了阈值，导致 at-risk 仅 0.64%、α 偏低（0.57 vs 网格 0.70）
4. proxy 模式更编码器无关：不依赖 scale_factor，α=0.63 更接近网格最优 0.70，但 target_avg 略低（0.2093 vs 0.2102）
5. BGE 绝对性能低于 RepLLaMA：target_avg 0.21 vs 0.28，受限于 BGE 编码质量，非 V7 机制问题

• 来源：results/train_derived_params_safe_anchor_v7_bge-large-en.json, results/safe_anchor_v7_bge/, results/grid_anchor_bge_d+0.02/

V7 跨编码器泛化验证（E5-Mistral-7B-Instruct）

实验条件：仅替换编码器（RepLLaMA→E5-Mistral），其余不变（dual_queries_v6, safe_anchors, anchor_delta=+0.02, beta_compensation=2.0, coverage_correction=none）

V7 推导参数对比：

E5-Mistral 网格搜索最优（anchor_delta=+0.02）：

关键发现（E5-Mistral 上 V7 反超网格综合最优）：

1. V7 推导参数 target_avg 超过网格综合最优点：scale 模式 0.2653 vs 网格综合 0.2589（gap=-0.0064，反超 2.5%），是三编码器中泛化效果最好的
2. scale_factor=1.27 在 E5 上同样适用：E5 的 tau_anchor_proxy/cos_qbase_qneg≈1.27（0.7359/0.5795），与 RepLLaMA 相同，远高于 BGE 的 1.01；这是 E5 与 RepLLaMA 同属"专用检索编码器"的体现
3. V7 推导 α 落在网格高 tavg 区：α=0.69 接近网格 tavg 前 10 名的 α 区间（0.30-0.90），而网格综合最优点 α=1.10 偏高（p-MRR 高但 tavg 低）；V7 通过 β_compensation=2.0 平衡了 tavg/p-MRR
4. β 补偿因子跨三编码器通用：E5 β_raw=0.98（与 RepLLaMA 1.0-1.28、BGE 1.10-1.18 同量级），×2.0 后 β=1.95 落入 E5 网格最优 β 区间（1.5-2.5）
5. 网格 target_avg 最优点（α=0.30）是退化解：p-MRR 仅 0.0534（与 RepLLaMA/BGE 现象一致），不可用

• 来源：results/train_derived_params_safe_anchor_v7_e5-mistral.json, results/safe_anchor_v7_e5/, results/grid_anchor_e5_d+0.02/

V7 跨编码器泛化性汇总（RepLLaMA / BGE / E5-Mistral）

泛化精度对比：

跨编码器关键统计：

三编码器泛化结论：

1. V7 机制在三大编码器系列上均成功泛化：泛化精度（与网格综合最优的差距）在 -2.5% ~ +0.9% 之间，E5-Mistral 上反超网格最优
2. β_compensation=2.0 是跨编码器通用常数：三编码器 β_raw 均在 0.98-1.28 区间，×2.0 后均落入各自网格最优 β 区间，无需按编码器调整
3. scale_factor=1.27 的适用性取决于编码器类型：RepLLaMA（专用 LoRA）和 E5-Mistral（指令微调）的 tau_anchor/cos_qbase_qneg≈1.27，scale 模式最优；BGE（对比学习）该比值≈1.01，应改用 proxy 模式
4. proxy 模式是更安全的跨编码器默认选择：不依赖 scale_factor，在三编码器上泛化精度均稳定（差距 0.9%-1.6%），但 scale 模式在适用编码器上更准确
5. 网格 target_avg 最优点的退化解现象跨编码器一致：三编码器上 α=0.3 附近均出现高 tavg/低 p-MRR 的退化解，V7 通过 β 补偿避免了该陷阱

V8 per-query 推理时推导（RepLLaMA，推荐最严谨方案）

核心改进：将 α/β 推导从训练集全局计算改为测试时逐 query 计算，基于候选文档编码分布自适应生成 per-query α_q/β_q，无需训练集参数、无需预知测试集分布。

V8 推荐配置：req_gap_comp + coupled + anchor_delta=0.02 + t_safety=20

β 推导模式对比（RepLLaMA，三数据集平均）：

V8 逐数据集结果（req_gap_comp + coupled + t_safety=20）：

参数扫描结果：

备选方案：高 p-MRR 配置（req_thresh 模式）：

V7→V8 对比：

V8 关键发现：

1. req_gap_comp 是最优 β 模式：在 max_comp 基础上引入指令敏感度间隙因子，当 S_base 与 S_req·safety 差距大时自动增强 β
2. coupled safety_tau_mode 最优：req_thresh 模式可作为高 p-MRR 备选（p-MRR +66% 但 Core17_CH_MAP -15%）
3. t_safety=20 是 sweet spot：在 target_avg 和 p-MRR 间取得最佳平衡
4. V8 完全无需训练集参数：所有参数均在测试时从候选文档分布推导，学术最严谨

• 来源：results/safe_anchor_v8_req_gap_comp/{Core17,Robust04,News21}/metrics_summary.json

V8.1 hybrid penalty + safety gate 解耦（探索版）

核心问题：V8 诊断发现三个数据集 at-risk 全为 0，α 推导完全失效，V8 退化为 Q_plus-only 模式。Robust04 的 τ-s_neg_max gap 最大（0.149），导致惩罚和安全门控完全失效。

V8.1 改进：

1. penalty_tau_mode：引入基于 S_neg 分布的自适应阈值模式（s_neg_pctl/hybrid/hybrid_floor）
2. Safety gate 解耦：当 penalty_tau_mode != "anchor" 时，coupled 模式的 safety gate 自动改用原始 anchor 阈值，避免过度抑制 Q_plus 增强

V8.1 三数据集完整对比（RepLLaMA，req_gap_comp + coupled + t_safety=20 + hybrid P99 decoupled）：

target_avg 汇总：

V8.1 关键发现：

1. penalty track 对排名无实质影响：P90/P95/P99 decoupled 结果几乎一致（差异 <0.5%），说明 α×softplus(S_neg-τ) 相对 S_base + β×S_req 太小，无法改变排名。V8 的性能完全由 β（Q_plus track）驱动
2. safety gate 是必要的：safetyoff 导致 p-MRR 暴跌（0.13→0.02），且 β 也降低（因 safety=1.0 时 mean(S_req×safety) 更大，β 分母变大）。safety gate 通过降低 mean(S_req×safety) 间接帮助 β 变大
3. safety gate 与 β 存在不健康耦合：β 公式分母含 safety，safety 越低 β 越大。这意味着 V8 的 β 推导部分依赖于 safety gate 的抑制效果，而非纯粹基于候选文档分布
4. V8 瓶颈在 Robust04：β_mean=1.76 远低于 V7 的 2.55，导致 Robust04 Ch_MAP=0.244 vs V7 的 0.260。V8.1 的 hybrid decoupled 未能解决此问题
5. V8.1 hybrid decoupled 略优于 V8 anchor：avg p-MRR 从 0.1156 提升到 0.1207（+4.4%），但 target_avg 略降（0.2692→0.2668，-0.9%）。综合来看 V8.1 未带来实质改进
6. 未来方向：需重新设计 β 推导公式，使其不依赖 safety gate，或引入更强的 penalty 函数（如线性惩罚替代 softplus）

• 来源：results/safe_anchor_v8_hybrid_p99_decoupled/, results/safe_anchor_v8_hybrid_p99_safetyoff/

V8.3 自适应安全门控（adaptive t_safety）

核心问题：V8 per-query 分析发现，固定 t_safety=20 的安全门控对部分 query 过度抑制 Q_plus 增强。当 safety_mean 偏低时（大量文档 S_neg 接近 τ），高 t_safety 的硬切换误伤接近阈值的文档，导致 Q_plus 增强被完全抑制。

改进方案：per-query 自适应 t_safety

1. 先用基础 t_safety 计算 safety_init，得到 safety_mean_init
2. 若 safety_mean_init < threshold，按立方比例降低 t_safety：t_safety_q = t_safety × (safety_mean_init / threshold)³
3. 立方公式使低 safety_mean 的 query 获得更激进的调整，而高 safety_mean 的 query 几乎不受影响
4. t_safety_min 作为下限保护（默认 3.0）

参数搜索（max_mean β 模式 + coupled safety + anchor_delta=0.02）：

推荐配置（thr=0.92, cube）逐数据集结果：

与 baseline (max_mean, no adaptive) 对比：

V8.3 关键发现：

1. thr=0.92 是最优阈值：target_avg +0.53%，主要来自 News21 nDCG@5 的 +1.8% 提升。thr=0.95 虽然在 News21 上 p-MRR 更高（+6.8%），但 Core17 的 MAP 损失（-0.6%）导致 target_avg 反降 -0.14%
2. 立方公式优于线性/平方：立方公式对低 safety_mean 的 query 调整更激进（如 safety=0.82 时 t_safety_q 从 20 降到 15.0），而高 safety_mean 的 query 几乎不受影响
3. Robust04 完全无触发：26 个 query 的 safety_mean 均 ≥ 0.95，说明 Robust04 的 S_neg 分布远离 τ，安全门控本就不产生抑制
4. News21 受益最大：10/24 query 触发自适应，nDCG@5 从 0.293 提升到 0.298（+1.8%），Q_plus 增强保留更多
5. Core17 的 trade-off：3/16 query 触发，p-MRR 提升 +1.2% 但 MAP 略降 -0.4%。q12 (safety=0.744) 触发后 t_safety_q 降到 13.33，可能让部分本应被抑制的文档获得 Q_plus 增强

• 来源：results/safe_anchor_v8_adaptive_tsafety_v5/, results/safe_anchor_v8_max_mean_baseline/

V8.5 Cross-Scale Residual Penalty（Core17）

核心改进：将惩罚和 safety gate 解耦。惩罚基于残差（超出背景泄漏预期的部分），safety gate 仍基于传统 τ。独立于 anchor 机制，α/β 推导仍用 V8 per-query 推理时推导。

引擎：engine_deir_dual_v2.py，boundary_mode=residual_bg

实验条件：per_query_ab=true, beta_derive_mode=max_mean, t_safety=20, δ=0.02

λ 扫描结果：

与 semantic baseline 对比（Core17，λ=2.0）：

核心发现：

1. V8.5 成功解决 semantic 模式 at-risk≈0% 的问题：残差机制识别出 8.9% 真正有负面证据的文档
2. α_q 从 fallback 0.5 变为有效推导 0.985，惩罚机制真正生效
3. p-MRR 提升 8.3%，指令敏感度显著改善
4. λ 敏感度低（0.5~3.0 范围 p-MRR 变化仅 0.0005），方案鲁棒
5. 惩罚/safety 解耦是关键：safety 控制增强范围，惩罚控制排除力度

• 来源：results/residual_bg_v85_core17_lambda2.0/, results/semantic_v8_core17_baseline/

V8.6 E5-Mistral-7B-Instruct 跨编码器评测（residual_bg）

编码器信息：

• 模型：intfloat/e5-mistral-7b-instruct
• 基础模型：Mistral-7B + 指令微调
• 精度：BFloat16（约 14GB 显存，多卡并行）
• 池化方式：Last Token Pooling（严禁 Mean Pooling）
• 指令模板：Instruction: {task}\nQuery: {query}
• 多卡加载：device_map="auto" 自动分配层到多 GPU

实验条件：dual_queries_v6, per_query_ab=true, beta_derive_mode=max_mean, t_safety=20, residual_margin_scale=2.0, safety_kappa=10, boundary_mode=residual_bg

Table 3 跨编码器结果（OG/Changed/DeIR-Dual）：

E5-Mistral 逐数据集结果：

Base Retriever vs Strong Baseline vs DeIR-Dual 对比：

关键发现：

1. E5-Mistral Base Retriever Score 最高：OG target_avg=38.4，超过 RepLLaMA (37.4) 和 BGE (31.2)，说明其原始检索质量最强
2. 原始 p-MRR 负值：Base p-MRR=-2.8，与其他编码器类似（原始状态下几乎不响应指令变化）
3. DeIR-Dual 使 p-MRR 从 -2.8 提升到 16.0：绝对提升 18.8 个百分点，指令敏感度显著恢复
4. Score 代价可控：从 OG 38.4 降到 changed 26.3（-12.1），但换取了强指令敏感度
5. Strong Baseline 已接近 DeIR-Dual：26.0/15.6 vs 26.3/16.0，说明 E5-Mistral 的收益主要来自 Q_plus 增强，Q_minus 惩罚贡献较小
6. 与其他编码器对比：BGE 和 RepLLaMA 的 Strong p-MRR 更高（19.3/19.7），但 E5-Mistral 的绝对 OG 质量最高

结果文件路径：

• DeIR-Dual (full)：results/e5mistral_v86_kappa10_{core17,robust04,news21}/
• Base Retriever (base_only)：results/e5mistral_base_only_{core17,robust04,news21}/
• Strong Baseline (no_neg)：results/e5mistral_no_neg_{core17,robust04,news21}/

α vs p-MRR/target_avg 权衡（β=1.29, δ=0.0）

30 种 α 推导方法汇总（δ_k=0.0）

Group F 重点方法：

• Score Entropy: α=6.15（过高）
• Kurtosis/Skewness-Adjusted: α≈0.065~0.068（过低）
• KL Minimization: α=0.12（过低）
• Percentile-50/75 Alignment: α=1.00~1.03（与 Scale Alignment 一致！）
• Bayesian Posterior: α=752+（数据量过大导致先验被淹没）

RepLLaMA + Qwen3-8B 改写模型

测试集网格搜索最优：

• α=0.5, β=1.1, δ=0.0
• target_avg=0.283, mean p-MRR=0.1472

训练集导出最优（改进两阶段法）：

• α=1.0, β=1.5, δ=0.05
• 测试集 target_avg=0.2857（Core17_MAP=0.2594, Robust04_MAP=0.2684, News21_nDCG=0.3292）
• 测试集 mean p-MRR=0.1365（Core17=0.1209, Robust04=0.0987, News21=0.1899）

Promptriever (LLaMA 3.1 8B Instruct) 基线

模型信息：

• 论文：Promptriever: Instruction-Trained LLMs are Retrievers
• 作者：Samaya AI
• 发布：2024
• HuggingFace：samaya-ai/promptriever-llama3.1-8b-instruct-v1
• 基础模型：meta-llama/Meta-Llama-3.1-8B-Instruct + LoRA adapter

评测结果：

关键发现：

• Promptriever 作为基线模型，p-MRR=0.1001，低于 DeIR-Dual V2 (0.1687)
• target_avg=0.3063，略高于 DeIR-Dual V2 (0.2841)，但 p-MRR 低 40.7%
• 指令敏感度较低，适合作为基线对比

DeIR+Promptriever V5 参数推导

模型信息：

• 编码器：samaya-ai/promptriever-llama3.1-8b-instruct-v1
• 改写器：Qwen3-4B (TSC_CONSERVATIVE)
• 参数推导：V5 第一性原理训练集推导，Promptriever 专用训练集嵌入
• 推导参数：α=0.79, β=1.41, δ=0.003

评测结果：

关键发现：

• p-MRR=0.3505，是所有方法中最高的，比 DeIR+RepLLaMA (0.1687) 高 107.8%
• target_avg=0.2265，低于 DeIR+RepLLaMA (0.2841) 和 Promptriever 基线 (0.3063)
• Promptriever 编码器对指令变化非常敏感（p-MRR 高），但 DeIR 的奖惩机制进一步放大了这种敏感度
• Changed 指标较低（Core17 MAP=0.2014 vs 基线 0.2827），说明 DeIR 的惩罚在 Promptriever 上过于激进
• at-risk ratio 在参数推导时为 0%（S_neg 几乎全部低于 τ），说明 Promptriever 的语义空间与 RepLLaMA 不同

ReFeed-8B + RepLLaMA

模型信息：

• 论文/项目：ReFeed (Retrieval-Augmented Feedback)
• HuggingFace：DISLab/ReFeed-8B
• 基础模型：LLaMA-3.1-8B-Instruct 微调
• 原始用途：摘要精炼（接收文档+摘要+反馈，输出精炼摘要+反思推理）
• 适配方式：将 FollowIR 的 query 视为"摘要"，instruction 视为"反馈"，触发 Long-CoT 反思改写
• 编码器：RepLLaMA-reproduced
• 生成参数：temperature=0.6, max_new_tokens=2048

评测结果：

关键发现：

• p-MRR=-0.0274，指令敏感度为负，改写反而降低了指令敏感度
• target_avg=0.2116，低于 RepLLaMA 基线 (0.2841)，检索质量也下降
• ReFeed 是摘要精炼模型，Long-CoT 输出极度冗长（单条改写超过 80 词），包含大量无关修饰语
• 改写后的查询过于泛化，稀释了指令信号，使 og/changed 查询的检索结果趋同
• 与其他改写方法的失败模式一致：改写是"语义增强/泛化"而非"指令响应"

指令改写方法对比

评测配置：RepLLaMA 编码器 + Qwen3-4B 改写模型，FollowIR 三个测试集

基准方法论文信息

Core17 结果

Robust04 结果

News21 结果

汇总对比

关键发现

1. DeIR-Dual V2 在 p-MRR 上大幅领先：0.1286 vs HyDE 0.0143 vs DeepRetrieval -0.0029 vs RAG-Fusion -0.0030 vs Query2Doc -0.0109，分别领先 9.0×、44.3×、43.9× 和 11.8×
2. DeepRetrieval 的 p-MRR 接近零：mean p-MRR=-0.0029，与 RAG-Fusion (-0.0030) 几乎相同，说明 RL 训练的查询生成器虽然提升了 OG 指标，但几乎完全丧失了指令敏感度
3. DeepRetrieval 的 OG 指标优于 DeIR-Dual V2：Core17 OG MAP=0.3504 vs 0.2412，Robust04 OG MAP=0.3173 vs 0.2419，News21 OG MAP=0.4632 vs 0.2885，说明 DeepRetrieval 的改写查询在语义增强方面有效
4. DeepRetrieval 的 changed 指标不如 DeIR-Dual V2：Core17 Changed MAP=0.2149 vs 0.2597，Robust04 Changed MAP=0.2594 vs 0.2657，News21 Changed nDCG@5=0.2394 vs 0.3229
5. DeepRetrieval 的失败模式与 HyDE/Query2Doc 相同：改写是"语义增强"而非"指令响应"，无法区分 og/changed 查询的差异；RL 训练目标是 BM25 召回率最大化，不关注指令敏感度
6. RAG-Fusion 在 p-MRR 和 target_avg 上均表现最差：mean p-MRR=-0.0030（指令敏感度几乎为零），target_avg=0.2134（检索质量也最差）
7. RAG-Fusion 的失败原因：RRF 融合将 5 个查询（1 原始 + 4 生成）的检索结果取平均排序，多查询的语义多样性反而"稀释"了指令信号，使 og/changed 查询的检索结果趋同
8. HyDE/Query2Doc/DeepRetrieval/RAG-Fusion 在 Robust04/News21 上 p-MRR 为负或接近零：说明传统改写方式反而降低了指令敏感度，changed 查询的排序质量下降
9. HyDE/Query2Doc/DeepRetrieval 的 OG 指标更高：因为假想文档/伪文档/RL 生成查询提供了额外的语义信息，提升了原始查询的检索质量，但代价是降低了对指令变化的敏感度
10. DeIR-Dual V2 在 target_avg 上也领先：0.2828 vs Query2Doc 0.2622 vs DeepRetrieval 0.2379 vs HyDE 0.2343 vs RAG-Fusion 0.2134
11. DeIR-Dual V2 的核心优势：通过 Q_minus 惩罚机制，在保持检索质量的同时大幅提升指令敏感度；所有其他方法的改写都是"语义增强"而非"指令响应"，无法区分 og/changed 查询的差异
12. RAG-QR 的 p-MRR 为负：mean p-MRR=-0.0338，在 Robust04 上 p-MRR=-0.1029（所有方法中最差），说明 T5 改写器产生的查询改写与 instruction 拼接后反而降低了指令敏感度
13. RAG-QR 的改写器不含 instruction：T5-large 仅接收 query text（prompt="rewrite a better search query: "），instruction 仅在编码阶段拼接（rewritten_query + instruction），这种"改写+拼接"方式比直接编码原始查询（query + instruction）的指令敏感度更低
14. RAG-QR 在 Robust04 上 p-MRR 最低：-0.1029，比 Query2Doc (-0.0749) 和 RAG-Fusion (-0.0810) 更差，说明 T5 改写后的查询语义与 instruction 拼接后产生了更大的干扰
15. ConvSearch-R1 的 p-MRR 接近零：mean p-MRR=0.0024，与 DeepRetrieval (-0.0029)、RAG-Fusion (-0.0030) 处于同一水平，说明 GRPO RL 训练的对话改写器同样几乎完全丧失了指令敏感度
16. ConvSearch-R1 的 target_avg=0.2341：低于 HyDE (0.2343) 和 DeepRetrieval (0.2379)，在所有改写方法中排名倒数第二（仅高于 RAG-Fusion 0.2134）
17. ConvSearch-R1 的失败模式与 DeepRetrieval 相同：GRPO 训练目标是生成更好的对话式查询改写（decontextualization），不关注指令敏感度；改写后的查询是"去上下文化"而非"指令响应"，无法区分 og/changed 查询的差异
18. ConvSearch-R1 在 Robust04 上 p-MRR 为负：-0.0251，说明改写查询反而降低了指令敏感度，与 HyDE/Query2Doc/DeepRetrieval 的失败模式一致

Mistral (E5-Mistral-7B) 编码器

最新 V8.6 residual_bg 结果：详见 V8.6 E5-Mistral 跨编码器评测

测试集网格搜索最优：

• α=0.1, β=1.1, δ=0.05
• mean p-MRR=0.0319

训练集导出最优：

• α=0.3, β=1.0, δ=0.05
• 测试集 target_avg=0.2742, mean p-MRR=0.0540
• 注意：Mistral at-risk 比例高达 62.9%（vs RepLLaMA 0.08%），增大 α 会显著损害 target_avg

BGE-Reasoner-Rewriter + BGE (ReasonEmbed)

模型信息：

• 论文：ReasonEmbed: Enhanced Text Embeddings for Reasoning-Intensive Document Retrieval
• HuggingFace：cfli/reasoner-rewriter-qwen2.5-7b-0821
• 基础模型：Qwen2.5-7B
• 方法：生成 5 个改写查询，分别用 BGE-large-en 编码检索，分数求和聚合
• 编码器：BGE-large-en-v1.5（本地路径 /home/luwa/Documents/models/BGE-large-en-v1.5）
• OG 查询使用原始文本编码（不改写），仅改写 changed 查询

评测结果：

关键发现：

• p-MRR 接近零（0.0204），说明 5 查询分数聚合方式几乎完全丧失指令敏感度
• 5 个改写查询的分数求和使 og/changed 查询的检索结果趋同，"稀释"了指令信号
• OG 指标较高（Core17 MAP=0.3176），说明改写在语义增强方面有效
• Changed 指标较低（Core17 MAP=0.2153），改写反而损害了指令相关文档的排序

INF-X-Retriever 全流程

模型信息：

• 论文/项目：INF-X-Retriever
• 组件：inf-query-aligner（Qwen2.5-7B-Instruct RL-tuned 改写器）+ inf-retriever-v1-pro（通用密集检索器）
• HuggingFace：infgrad/inf-query-aligner, infgrad/inf-retriever-v1-pro
• 方法：先用 Aligner 改写查询，再用专用检索器编码检索

评测结果：

关键发现：

• p-MRR=0.0339，指令敏感度很低，与 DeepRetrieval/RAG-Fusion 处于同一量级
• target_avg=0.2704，检索质量中等（高于 HyDE 0.2343，低于 DeIR-Dual V2 0.2828）
• OG 指标非常高（Core17 MAP=0.3973, Robust04 MAP=0.3803），说明专用检索器编码能力强
• Changed 指标相对较低，说明改写器"语义增强"而非"指令响应"

INF-X Aligner + RepLLaMA

模型信息：

• 仅使用 INF-X 的查询改写器（inf-query-aligner），编码器替换为 RepLLaMA
• 目的：隔离改写器的效果，排除检索器差异的影响

评测结果：

关键发现：

• p-MRR=0.0146，比全流程 (0.0339) 更低，说明 INF-X 检索器本身有一定指令敏感度
• target_avg=0.2274，低于全流程 (0.2704)，说明 INF-X 专用检索器编码质量优于 RepLLaMA
• 改写器本身几乎无指令敏感度贡献

mTRAG Query Rewriter + BGE

模型信息：

• 论文/项目：mTRAG (Multi-Turn Retrieval-Augmented Generation)
• HuggingFace：caraman/Qwen2.5-7B-mtrag-query-rewriter-final
• 基础模型：Qwen2.5-7B-Instruct + LoRA 微调
• 原始用途：多轮对话查询改写（decontextualization）
• 适配方式：将 FollowIR 的 query + instruction 转为单轮改写 prompt
• 编码器：BGE-large-en-v1.5
• 生成参数：temperature=0.2, max_new_tokens=512

评测结果：

关键发现：

• p-MRR=-0.0074，指令敏感度为负，改写反而降低了指令敏感度
• target_avg=0.1921，所有方法中最低，检索质量也最差
• mTRAG 为多轮对话设计，将上下文相关查询改写为独立查询，但 FollowIR 的 changed 查询已包含指令信息，改写反而稀释了指令的关键约束
• 改写后的查询过于冗长和泛化，引入了过多不相关语义

TongSearch-QR + RepLLaMA

模型信息：

• 论文/项目：TongSearch-QR（对话式查询改写）
• 基础模型：Qwen2.5-3B-Instruct / Qwen2.5-7B-Instruct + LoRA 微调
• 原始用途：多轮对话查询改写
• 编码器：RepLLaMA

3B 版本评测结果：

7B 版本评测结果：

关键发现：

• 3B 和 7B 版本的 p-MRR 均为负或接近零，指令敏感度极低
• 7B 版本 p-MRR (-0.0036) 优于 3B 版本 (-0.0352)，但仍远低于 DeIR-Dual V2 (0.1286)
• 3B 版本 target_avg (0.2386) 略高于 7B (0.2266)，但两者均低于 DeIR-Dual V2 (0.2828)
• 与其他对话改写器（ConvSearch-R1, mTRAG）的失败模式一致：改写是"去上下文化"而非"指令响应"

Granite aLoRA QR + BGE

模型信息：

• 论文/项目：A Library of LLM Intrinsics for Retrieval-Augmented Generation (IBM Research)
• HuggingFace：ibm-granite/granite-3.2-8b-alora-rag-query-rewrite
• 基础模型：ibm-granite/granite-3.2-8b-instruct + LoRA adapter (rank=32, alpha=32, target_modules=[q_proj, v_proj, k_proj])
• 原始用途：多轮对话查询去上下文化（Activated LoRA / aLoRA）
• 适配方式：将 FollowIR 的 query + instruction 作为单轮 user 输入，触发 aLoRA 的 rewrite 特殊 prompt
• 编码器：BGE-large-en-v1.5（Granite 8B + BGE 1.3GB 可共存于 24GB GPU）
• 生成参数：greedy decoding, max_new_tokens=256
• 输出格式：JSON {"rewritten_question": }

评测结果：

关键发现：

• p-MRR=-0.0231，指令敏感度为负，改写反而降低了指令敏感度
• target_avg=0.1887，所有方法中最低（与 mTRAG 0.1921 接近），检索质量极差
• Granite aLoRA QR 为多轮对话设计，改写目标是"去上下文化"（将依赖历史的查询转为独立查询），但 FollowIR 的 changed 查询已包含指令信息，改写反而稀释了指令的关键约束
• Robust04 上 p-MRR 最低 (-0.0827)，说明改写对 Robust04 的指令信号破坏最严重
• 与其他对话改写器（ConvSearch-R1, mTRAG, TongSearch-QR）的失败模式一致：改写是"去上下文化"而非"指令响应"

外部改写方法汇总对比

评测配置：各方法使用各自推荐的编码器和改写器，FollowIR 三个测试集

*BGE-Reasoner-Rewriter target_avg 仅基于 Core17+News21（Robust04 运行中）

关键发现：

1. 所有外部改写方法的 p-MRR 均远低于 DeIR-Dual V2：最高仅 0.0339（INF-X），vs DeIR-Dual V2 的 0.1286
2. 端到端指令微调（Promptriever）的 p-MRR 最高：0.1001，但仍低于 DeIR-Dual V2 的 0.1286
3. 改写类方法的共同失败模式：改写是"语义增强"而非"指令响应"，无法区分 og/changed 查询的差异
4. 多查询聚合/融合方式（BGE-Reasoner-Rewriter, RAG-Fusion）进一步稀释指令信号：p-MRR 接近零
5. 专用检索器（INF-X Retriever）编码质量高但不提升指令敏感度：OG 指标高但 p-MRR 低
6. mTRAG 在 target_avg 和 p-MRR 上均表现最差：多轮对话改写器不适合 FollowIR 的单轮指令场景

InstructIR 评测结果

基准信息

论文：InstructIR: A Benchmark for Instruction Following of Information Retrieval Models
作者：Hanseok Oh, Hyunji Lee, Seonghyeon Ye, Haebin Shin, Hansol Jang, Changwook Jun, Minjoon Seo (SoftlyAI, KAIST AI, LG AI Research)
发表：ACL 2024
链接：https://aclanthology.org/2024.acl-long.123/

数据集详情

数据集：9,906 查询，16,072 文档，每查询 1 个相关文档 配置：RepLLaMA + Qwen3-4B + α=1.0, β=1.5, δ=0.05

结论：Baseline nDCG@10=0.86 已饱和（instruction 语义已融入向量），DeIR-Dual V2 无额外提升。纯 query（无 instruction）nDCG@10=0.48。

NegConstraint 评测结果

基准信息

论文：Logical Consistency is Vital: Neural-Symbolic Information Retrieval for Negative-Constraint Queries
作者：Ganlin Xu, Zhoujia Zhang, Wangyi Mei, Jiaqing Liang, Weijia Lu, Xiaodong Zhang, Zhifei Yang, Xiaofeng Ma, Yanghua Xiao, Deqing Yang (Fudan University, United Automotive Electronic Systems)
发表：Findings of ACL 2025
链接：https://aclanthology.org/2025.findings-acl.92/

数据集详情

数据集：198 测试查询（含显式否定/排除信号），3,946 文档

RepLLaMA + Qwen3-4B + α=1.0, β=1.5, δ=0.05

BGE-large-en-v1.5 + Qwen3-4B + α=1.0, β=1.5, δ=0.05

关键发现：

• 两种编码器均显著提升：RepLLaMA nDCG@10 +4.3%，BGE nDCG@10 +4.1%
• Q_minus 利用率 99.5%（197/198），与 NegConstraint 否定查询特性完美匹配
• Q_minus 惩罚额外贡献：RepLLaMA MAP@100 +0.61%，BGE MAP@100 +0.66%
• NegConstraint 是 DeIR-Dual V2 的最佳适配场景（查询天然包含否定信号）

ExcluIR 评测结果

基准信息

论文：ExcluIR: Exclusionary Neural Information Retrieval
作者：Anonymous
发表：arXiv:2404.17288, 2024
链接：https://arxiv.org/abs/2404.17288

数据集详情

数据集：3,452 测试查询，90,406 文档 评测日期：2026-07-27 配置：RepLLaMA-reproduced + Qwen3-4B + α=1.0, β=1.5, δ=0.05, t_safety=20

评测指标说明

ExcluIR 评测排他性检索能力（用户明确要求排除某实体）：

• R@1/R@5/R@10：正例文档的召回率（越高越好）
• MRR@10：正例文档的倒数排名（越高越好）
• R@1_neg：负例文档的召回率（越低越好）
• MRR@10_neg：负例文档的倒数排名（越低越好）
• delta_R@1：正例召回率 - 负例召回率（衡量排除效果，越高越好）
• delta_MRR@10：正例MRR - 负例MRR（越高越好）
• RR (Right Rank)：正例排名高于负例的查询比例（越高越好）

RepLLaMA-reproduced + Qwen3-4B

关键发现

1. DeIR-Dual V2 在 ExcluIR 上表现卓越：

   • delta_R@1 从 24.01pp 提升到 79.41pp（+55.4pp）
   • 正例召回率 R@1 从 60.83% 提升到 83.78%（+22.95pp）
   • 负例召回率 R@1_neg 从 36.82% 降到 4.37%（-32.45pp），排除效果显著
   • RR 从 62.08% 提升到 89.86%（+27.78pp）

2. Q_minus 惩罚效果显著：

   • Q_plus only vs DeIR-Dual V2：delta_R@1 从 61.56pp → 79.41pp（+17.85pp）
   • 负例召回率从 17.09% → 4.37%（-12.72pp）
   • 排除效果提升 74.3%

3. 与 NegConstraint 的对比：

   • ExcluIR 是更强的排他性基准：正/负例标注更明确
   • delta_R@1（79.41pp）远高于 NegConstraint 的 nDCG@10 提升（4.3%）
   • RR（89.86%）表明接近 90% 的查询正确地将正例排在负例之前

4. Q_minus 利用率：99.6%（3438/3452），几乎所有查询都有排除指令

• 结果文件：results/excluir_repllama/metrics_summary.json

COCO-Neg 评测结果

基准信息

论文：Vision-Language Models Do Not Understand Negation (NegBench)
作者：Kumail Alhamoud, Shaden Alshammari, Yonglong Tian, Guohao Li, Philip H.S. Torr, Yoon Kim, Marzyeh Ghassemi (MIT, Google DeepMind, University of Oxford)
发表：CVPR 2025
链接：https://arxiv.org/abs/2501.09425

数据集详情

数据集：5,000 张 COCO 2017 val 图像，25,014 条否定 caption 查询，多模态 text-to-image retrieval 配置：Qwen3-4B + α=1.0, β=1.5, δ=0.05 | Q_minus 利用率 99.7%

逐模型结果

CLIP-OpenAI (ViT-B-32)

CLIP-DataComp (ViT-B-32)

CLIP-LAION400M (ViT-B-32)

NegCLIP (ViT-B-32)

跨模型汇总（R@5）

• 恢复率 = (DeIR R@5 - Baseline R@5) / (Original R@5 - Baseline R@5)
• 跨模态验证：DeIR-Dual V2 在文本检索和多模态检索均有效
• Q_minus 惩罚在所有模型上均有额外贡献（R@5: +0.4% ~ +1.1%）

ComLQ 评测结果

基准信息

论文：ComLQ: Benchmarking Complex Logical Queries in Information Retrieval
作者：Ganlin Xu, Zhitao Yin, Linghao Zhang, Jiaqing Liang, Weijia Lu, Xiaodong Zhang, Zhifei Yang, Sihang Jiang, Deqing Yang (Fudan University, United Automotive Electronic Systems)
发表：arXiv:2511.12004, 2025年11月
会议：AAAI 2026
链接：https://arxiv.org/abs/2511.12004

数据集详情

数据集：2,909 查询（14 种类型：9 无否定 + 5 含否定），11,251 文档 配置：BGE-large-en-v1.5 + Qwen3-4B | 最优参数：α=0.0, β=0.5, δ=0.3 Q_minus 利用率：95.5%（940/984 否定查询有 Q_minus）

全部查询 (2909)

否定查询 (984)

按查询类型 nDCG@10

关键发现：

• Q_minus 惩罚完全无效：最优 α=0.0，DeIR-Dual V2 ≈ Q_plus only
• 根本原因 — 语义纠缠：Cos(Q_base, Q_neg) 平均 0.7050（85.5% > 0.6），否定部分与正面意图共享大量语义
• 与 NegConstraint/COCO-Neg 的区别：后者否定信号是显式排除（"no red"），Q_neg 与 Q_base 语义正交 → 惩罚有效

BEIR 泛化评测结果

配置：

• NQ / HotpotQA：BM25 top-1000 初筛 → RepLLaMA 重排，各 50 查询 / 50K 文档子集
• MS MARCO：RepLLaMA 稠密检索初筛（无 BM25，与 Promptriever 一致）
  • 完整 8.8M 语料：DL19 (43 查询)、DL20 (54 查询)、Dev (6980 查询)
  • 子集参考：DL19 (43 查询 / 50K)、Dev (6980 查询 / 57K)

CONSERVATIVE 提示词，α=1.0, β=1.5, δ=0.05, T_safety=20

汇总表（完整 8.8M 语料 — MS MARCO）

详细指标

NQ（factoid QA，无否定信号）

HotpotQA（多跳推理，2/50 查询含 Q_minus 但 at-risk=0% → 惩罚未触发）

MS MARCO DL19（段落检索，43 查询，RepLLaMA 稠密初筛，完整 8.8M 语料，无否定信号 → Q_plus-only 模式）

结果文件：results/beir/msmarco_full_dl19/metrics_summary.json

MS MARCO DL20（段落检索，54 查询，RepLLaMA 稠密初筛，完整 8.8M 语料，无否定信号 → Q_plus-only 模式）

DL20 数据来源：TREC DL 2020 官方 qrels（54 查询）+ 官方 topics（200 查询），详见 dataset/BEIR/msmarco_dl20/ 结果文件：results/beir/msmarco_full_dl20/metrics_summary.json

MS MARCO Dev（6980 查询，RepLLaMA 稠密初筛，完整 8.8M 语料，无否定信号 → Q_plus-only 模式）

完整语料与子集对比：57K 子集上 Dev MRR=94.20（天花板效应，Recall@1000=1.0），完整 8.8M 语料上 MRR=40.12，与 Promptriever 论文报告的 RepLLaMA MRR=42.5 处于同一量级，绝对值可直接对比。 结果文件：results/beir/msmarco_full_dev/metrics_summary.json

子集参考结果（50K/57K 文档子集，仅作参考）

MS MARCO DL19（50K 文档子集）：Baseline nDCG@10=0.7531, DeIR nDCG@10=0.7648 (+1.55%)，绝对值高于完整语料结果（子集偏易） MS MARCO Dev（57K 文档子集）：Baseline MRR@10=0.9420, DeIR MRR@10=0.9282 (-1.46%)，Recall@1000=1.0 天花板效应

子集结果详见历史记录：results/beir/msmarco_dense/、results/beir/msmarco_dev_dense/

与 Promptriever 论文 Table 2 对比

Promptriever Table 2（完整 8.8M 语料，原文 §4.1）

我们的结果（完整 8.8M 语料，稠密初筛，可直接对比）

对比结论：

1. DL19 nDCG@10：DeIR-Dual V2 (72.35) 低于 RepLLaMA baseline (73.12)，与 Promptriever 的趋势一致（74.5→73.2，-1.7%）。MS MARCO 无否定信号时 DeIR-Dual V2 退化为 Q_plus-only，Q_plus 改写引入的语义偏移在无否定信号场景下为纯噪声
2. DL20 nDCG@10：唯一正向提升的子测试集（65.35→65.51, +0.24%），但绝对值低于 Promptriever（72.3）。RepLLaMA baseline 65.35 与论文 71.8 之间存在复现差距（-6.45），可能源于模型权重差异
3. Dev MRR：DeIR-Dual V2 MRR=37.12，低于 Promptriever (42.0) 和 RepLLaMA baseline (40.12)。6980 查询的大规模评测中，Q_plus 改写噪声被放大：部分查询的 Q_plus 偏离原始语义，导致相关文档排名下降
4. 核心问题：CONSERVATIVE 提示词在 MS MARCO 上自动退化为 Q_plus-only 模式（0% Q_minus 利用率），DeIR-Dual V2 的核心优势——Q_minus 惩罚机制——完全未激活。在无否定信号的通用检索任务上，Q_plus 改写无正向收益，反而引入语义偏移
5. RepLLaMA baseline 复现差距：我们的 DL20 baseline (65.35) 与论文报告 (71.8) 差 -6.45，DL19 baseline (73.12) 与论文 (74.5) 差 -1.38，Dev baseline M

Truncated - read the full file at https://github.com/lumos1596/DSCLR/blob/f4d15775735b5aa7db669608f462d79ed7b73433/.trae/skills/dsclr-exp-results/SKILL.md.