Skip to content

LangChain MMR 检索实测——检索结果去重的数学原理与调参曲线 ​

本文由 AI 辅助创作,数学推导、实验设计与数据分析由作者完成。

核心结论:向量检索默认按相似度排序,当某一篇文章特别对口时,它会把 Top-K 的位置全部占满。实测 12 个提问,平均只覆盖 5.17 篇不同文章(最差的一次 8 条结果全来自同一篇)。加上 MMR(最大边际相关性)后,覆盖数涨到 6.92 篇,而平均相关度只从 0.610 掉到 0.598——用 1.9% 的相关度换 33.9% 的覆盖面。本文推导 MMR 的目标函数与 (1−1/e) 贪心下界,扫描 λ 找拐点,并给出可运行的 LangChain 代码。

关键词:MMR,最大边际相关性,向量检索,余弦相似度,子模优化,LangChain,RAG


01 先说结论 ​

我在自己的文章库上跑了一组对照实验(240 篇正文,切成 5062 个文本块):

指标纯相似度检索MMR(λ=0.7)变化
覆盖不同文章数5.17 / 86.92 / 8+33.9%
同一篇最大重复次数3.421.92−43.9%
结果内最大相似度0.8030.733−8.6%
平均相关度0.6100.598−1.9%

最后一行是这张表的关键。相关度掉了 1.9%,覆盖面涨了 33.9%。你几乎没有损失"找到的东西有多对",但视野宽了一截。

这个结果来自 MMR 的目标函数,不是调参调出来的。下面拆开讲。


02 问题在现场:8 条结果只有 1 篇 ​

问一句"注意力机制怎么理解?",纯相似度检索返回的 8 条是这样的:

QIAN#0024  QIAN#0024  QIAN#0024  QIAN#0024
QIAN#0024  QIAN#0024  QIAN#0024  QIAN#0024

8 个位置全部来自同一篇文章。检索本身没坏。那篇文章讲注意力机制讲得最透,所以它的每一段都排在了前面。

再看几个提问:

提问纯相似度覆盖同文最多重复
注意力机制怎么理解?1 / 8 篇8 次
分位数回归和 OLS 有什么区别?2 / 8 篇7 次
牛顿法和梯度下降有什么区别?1 / 8 篇8 次
DuckDB 和 pandas 比有什么好处?6 / 8 篇3 次
聚类算法怎么选?8 / 8 篇1 次

只要某篇文章特别对口,列表就会被它包场。你本想看看别人怎么讲这个主题,结果只读到了一个人的说法。

问题出在"挑最相似的 K 个"这个动作本身——它奖励扎堆。

同一批提问:纯相似度 vs MMR 的结果覆盖度

图 1:12 个提问上,两种检索方式覆盖的不同文章数。红柱是 MMR,右侧绿字是提升量。


03 数学:相似度排序为什么会扎堆 ​

3.1 余弦相似度在量什么 ​

文本块编码成向量之后,比较两个向量最常用的办法是余弦相似度:

sim(a,b)=cos⁡θ=a⋅b∥a∥∥b∥

分子是内积,分母是两个向量的模长之积。这个式子做的事是:把两个向量的长度除掉,只留夹角。

  • 内积 a⋅b=∥a∥∥b∥cos⁡θ,也就是"一个向量在另一个向量方向上的投影长度 × 另一个的模长"
  • 除以 ∥a∥∥b∥ 之后,长度信息被消掉,剩下的 cos⁡θ 只反映方向差异
  • cos⁡θ 的取值范围是 [−1,1],越接近 1 表示两个向量指向越接近的方向

向量检索干的事情就是:算每个文本块和问题的 cos⁡θ,按降序取前 K 个。

3.2 扎堆的数学解释 ​

假设文本块 A 和 B 来自同一篇文章的相邻段落。它们主题相同,编码后的向量方向也几乎相同,于是:

sim(A,B)→1

现在算它们与问题 q 的相似度。既然 A 和 B 的方向几乎相同,它们与 q 的夹角也几乎相同,于是:

sim(q,A)≈sim(q,B)

A 排进前 K 名时,B 也一定在里面。同一篇文章的其他段落同理。它们以"整篇文章"为单位一起挤进榜单。

前 8 名全来自同一篇,原因就在这里。


04 MMR 的解法:给"像自己人"加惩罚 ​

MMR(Maximal Marginal Relevance,最大边际相关性)的做法是:挑选时同时看两件事——和问题像不像,以及和已经选中的结果像不像。

设已选集合为 S,下一个要挑的文档 di 由下式决定:

d∗=arg⁡maxdi∈R∖S[λ⋅sim(q,di)−(1−λ)⋅maxdj∈Ssim(di,dj)]

逐项看:

项含义作用
sim(q,di)这篇和问题的相似度奖励相关性
maxdj∈Ssim(di,dj)这篇和"已选中里最像的那个"的相似度惩罚重复
λ两者的权重调节偏向

第一项原本就有。第二项是新增的:它量的是"这篇如果要进来,会和已经选中的哪个撞脸"。取最大值的意思是,只要和任何一个已选结果很像,就要被扣分。

4.1 为什么取最大值,不取平均 ​

这处设计容易被忽略。假设已选集合里有两篇,di 与它们的相似度分别是 0.9 和 0.1:

  • 用平均值:(0.9+0.1)/2=0.5,惩罚被稀释掉了
  • 用最大值:max(0.9,0.1)=0.9,惩罚保持完整

要防的是"和某一篇撞得很厉害"这种情况。平均值会把它放过,最大值不会。

4.2 λ 的两端 ​

λ 取极端值时会退化成什么:

λ目标函数退化为
λ=1只剩 sim(q,di)就是原来的 Top-K 相似度检索
λ=0只剩 −maxsim(di,dj)挑与已选结果最不像的那个(最远点采样)

MMR 是这两种排序的一般化。工程上 λ 通常取 0.5–0.8。我在自己语料上扫了一遍,结论在第 06 节。

4.3 一个它做不到的情况 ​

读到这儿容易以为 MMR 能压掉所有重复。实际惩罚项有上界:

(1−λ)⋅maxdj∈Ssim(di,dj)≤1−λ

因为 sim≤1。λ=0.7 时这个上界只有 0.3。

如果某篇文档与问题的相似度远超其他候选,它被扣掉 0.3 分之后仍然排第一。我实测碰到过一次:3 个文本块与问题的相似度约 0.998,另两块只有 0.068,差距 0.93。此时交换它们带来的相关性损失是:

λ×0.93=0.7×0.93≈0.65

换来的去重收益最多 0.3。0.65 > 0.3,MMR 不会换。实测确实如此——它只调整了顺序,那 3 篇几乎一样的结果仍然都在。

打破这个局面有两条路:把 λ 降下来(降到 0.3,惩罚上界变成 0.7 > 0.65,就能换动),或者限制"同一篇文档最多贡献几条"——后者是另一种做法,不在 MMR 的框架里。

这个边界值得记一下,触发条件很具体:检索结果呈现"一篇遥遥领先、其余明显更低"的形态时,MMR 帮不上忙。

余弦相似度几何与 MMR 目标函数

图 2:左为余弦相似度的几何含义(只看夹角),右为 MMR 的打分构成(相关性减去冗余惩罚)。


05 贪心为什么有理论保证 ​

MMR 是逐条挑的:挑出第一条,再挑第二条,每次只做局部最优选择。这种贪心策略凭什么可靠?

5.1 直接求最优是难的 ​

不用贪心的话,就要从 n 个候选里选出最优的 K 条组合。组合数是:

(nK)=n!K!(n−K)!

取 n=5000、K=8,组合数的量级就超过 1024,枚举不现实。这类"从集合里挑子集、目标函数又没有简单结构"的问题,是 NP-hard 的典型形态。

5.2 子模性:贪心可行的前提 ​

函数 f 若满足"边际收益递减",就称为子模函数(submodular)。形式化地说,对任意集合 A⊆B 和任意元素 x∉B:

f(A∪{x})−f(A)≥f(B∪{x})−f(B)

翻译一下:往小集合里加东西,收益比往大集合里加更大。 好比往空房间摆家具,第一件最改变格局,越往后越难产生质变。

MMR 的目标函数可以写成集合函数的差:f(S)=λ∑di∈Ssim(q,di)−(1−λ)∑di∈Smaxdj∈S,j≠isim(di,dj)。前项线性可加(线性函数都是子模的),后项是"两两相似度上界之和",是凸的惩罚项,整体满足子模性质。

5.3 (1−1/e) 从哪来 ​

子模函数最大化有一个经典结论(Nemhauser 等,1978):对单调子模函数最大化问题,贪心算法得到的解不小于最优解的 (1−1/e)。

1−1e≈1−0.3679=0.6321

逐条贪心挑出来的结果,至少能达到理论最优的 63.2%。这个数字不依赖数据分布,是结构决定的。

实际工程里贪心的表现通常明显好于这个下界。但对写代码的人来说,这个保证的意义是:有一个不会更差的下限。

子模性与贪心的理论下界

图 3:左为子模函数的边际收益递减性质,右为贪心算法的 (1−1/e) ≈ 63.2% 下界。


06 实测:λ 该怎么调 ​

理论只说了"用 max 惩罚"和"贪心有保证",没说 λ 取多少。我用自己文章库上的 12 个提问扫了一遍:

λ平均相关度覆盖文章数结果内最大相似
1.00.6095.170.803
0.90.6095.420.794
0.80.6056.000.767
0.70.5986.920.733
0.60.5827.670.686
0.50.5707.750.641
0.30.5597.670.618
0.10.5567.670.611
0.00.5547.670.611

三个位置值得看:

λ=0.9 几乎白送。 相关度 0.609 一动不动,覆盖从 5.17 涨到 5.42。把权重稍微往多样性偏一点,不花任何代价。

λ=0.7 是性价比拐点。 相比 λ=1.0,相关度从 0.609 掉到 0.598(−1.9%),覆盖从 5.17 涨到 6.92(+33.9%)。用 1.9% 换 33.9%,这笔账划算。

λ≤0.5 之后覆盖触顶。 从 0.5 降到 0.0,覆盖停在 7.67 不再涨,相关度却还在掉(0.570→0.554)。这段区间是纯亏。

调参结论:从 λ=0.7 起步,需要更宽就降到 0.6,不要低于 0.5。

λ 扫描:相关度与覆盖面的权衡曲线

图 4:λ 从 1.0 降到 0.0 的完整权衡曲线。绿点标出 λ=0.7 的拐点位置。

6.1 逐题看:MMR 在哪几道题上救场 ​

平均值会盖住细节。12 个提问里,MMR 收益最大的几道是:

提问纯相似度覆盖MMR 覆盖提升
分位数回归和 OLS 有什么区别?2 / 87 / 8+5
注意力机制怎么理解?1 / 85 / 8+4
牛顿法和梯度下降有什么区别?1 / 84 / 8+3
向量检索是怎么工作的?5 / 87 / 8+2
时间序列怎么做预测?6 / 88 / 8+2

收益最大的都是"有一篇特别对口"的提问。这种时候纯相似度最容易被单篇包场,而 MMR 把位置让给了讲同一主题的其他文章。

也有收益为零的:

提问纯相似度覆盖MMR 覆盖
聚类算法怎么选?8 / 88 / 8
怎么做模型的数学推导?8 / 88 / 8
SHAP 值是怎么算出来的?8 / 88 / 8

这些提问的答案本来就分散在多篇文章里,Top-8 天然不重复,MMR 没活可干。它也不会把结果弄差(相关度基本持平)。

逐题覆盖数对照

图 5:每道题的覆盖数变化。绿线是有提升的,灰线是本来就满覆盖、MMR 不动它。


07 代码:LangChain 里怎么用 ​

LangChain 的向量库接口内置了 MMR。以 FAISS 为例:

python
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import FastEmbedEmbeddings

# 1. 本地 embedding(不联网)
emb = FastEmbedEmbeddings(model_name="BAAI/bge-small-zh-v1.5")

# 2. 建库:docs 是切好的文本块
vs = FAISS.from_documents(docs, emb)

# 3. 纯相似度检索(对照组)
plain = vs.similarity_search(query, k=8)

# 4. MMR 检索
mmr = vs.max_marginal_relevance_search(
    query,
    k=8,                      # 最终返回条数
    fetch_k=40,               # 先取 40 个候选,再从中做 MMR 挑选
    lambda_mult=0.7,          # λ,越大越偏重相关性
)

三个参数里 fetch_k 最容易被漏掉:MMR 是从一个更大的候选池里挑,池子太小就没什么可挑的。经验值是 fetch_k ≥ 5×k。

7.1 想自己实现的话 ​

MMR 的核心逻辑不长,理解它比调库更有用:

python
import numpy as np

def mmr_select(query_vec, doc_vecs, k=8, lam=0.7):
    """doc_vecs 已归一化,query_vec 也已归一化 → 点积即余弦相似度"""
    sim_q = doc_vecs @ query_vec              # 每篇与问题的相似度
    picked, cand = [], list(range(len(doc_vecs)))
    while len(picked) < k and cand:
        if not picked:
            best = max(cand, key=lambda i: sim_q[i])       # 第一条:纯相关性
        else:
            sel = doc_vecs[picked]
            red = (doc_vecs[cand] @ sel.T).max(axis=1)      # ★ 与已选的最相似者
            score = lam * sim_q[cand] - (1 - lam) * red
            best = cand[int(np.argmax(score))]
        picked.append(best)
        cand.remove(best)
    return picked

核心就是那句 max(axis=1),对应第 04 节说的"用最大值而非平均"。

MMR 检索流程

图 6:完整检索链路。MMR 位于排序环节,整条链在本地执行。

7.2 一个容易踩的实现细节 ​

向量库返回的通常是距离(越小越近)。余弦相似度是反过来的,越大越近。自己实现时方向弄反,惩罚项会起反作用。稳妥的做法是先把所有向量归一化,这样点积就等于余弦相似度,不用再区分距离和相似度。


08 什么时候别用 MMR ​

三种情况不建议上:

有唯一正确答案的检索。 比如"某函数怎么调用",你只想要最准确那一条,不需要它跟别的结果不一样。这种场景 Top-1 就是最优解,MMR 反而会把次要结果提上来。

语料本身不重复。 每篇文档讲的东西都不同时,MMR 的惩罚项几乎不起作用,白花计算。判断办法很简单:跑一遍纯相似度看覆盖数,如果稳定在 8/8 附近,就不用换。

λ 定得过低。 从第 06 节的曲线看,λ 低于 0.5 之后覆盖不再涨、相关度继续掉。结果会变成"什么都有一点,但没一条特别对",更难用。


09 落到你自己的系统上 ​

如果你也在用向量检索,可以按这个顺序动手:

  1. 先量基线。 准备 10–20 个真实提问,记录每次 Top-K 结果里出现了几篇不同文档。这是最便宜的诊断——覆盖数普遍在 7 以上,说明问题不在排序。
  2. 加 MMR,λ 从 0.7 起步。 对比同一批提问的覆盖数和相关度,重点看相关度掉了多少。掉 2% 以内、覆盖涨 20% 以上,就值得上。
  3. 把 fetch_k 设成 5×k 以上。 候选池太小时 MMR 无从挑选,效果会打折扣。

最后收个尾。检索系统的默认行为是"谁最像就给谁",这会让最对口的那篇文章独占榜单。MMR 没改相似度的算法,只在挑选时加了一个惩罚项——和已选结果撞脸的要扣分。数学上它是子模函数最大化,贪心有 (1−1/e) 的下界保证;实测上,1.9% 的相关度损失换来了 33.9% 的覆盖面提升。

关注公众号:QIAN数据