AI新突破：Jina-Reranker-M0破解多模态搜索公平性难题 | AI资讯

type

status

date

slug

summary

多模态搜索的“阿喀琉斯之踵”：模态鸿沟

在深入探讨解决方案之前，我们必须理解为何那些看似直观的简单方法会失效。其核心症结在于“模态鸿沟”（modality gap）。这一现象普遍存在于像 jina-clip-v2 这样的CLIP类模型中，指的是不同模态（如图像和文本）的向量在共享的嵌入空间中倾向于分离，导致它们产生的相似度分数处于不同的“尺度”或“分布范围”。

举例来说，文本与查询的相似度分数可能普遍分布在0.2到0.8之间，而图像与查询的相似度分数则可能集中在0.4到0.6之间。这种情况下：

取最高分？ 一个表现平平的文本匹配（例如0.6分）可能会轻易压过一个匹配度很高的图片匹配（例如0.5分），这显然不合理。

取平均分？ (0.7 + 0.3) / 2 = 0.5，这个0.5的意义何在？我们只是在对本质上不可比的数值进行平均，缺乏实际意义。

固定加权？ 这种方式过于武断。有时文本信息更关键，有时图像信息更重要，这完全取决于具体的查询和文档内容。

分数归一化？ 虽然归一化能将分数映射到同一区间，但它无法解决不同模态相似度衡量维度本质上的差异。

这些简单粗暴的方法都因模态鸿沟的存在而难以奏效，使得多模态文档的公平排序成为一大难题。

传统方法的困境：为何jina-clip-v2也力不从心？

为了更具体地理解这个问题，让我们参考EDIS数据集中的一个例子：一份文档包含一张德国足球比赛的图片和一段文字说明“One More Field Where the Content Trails Germany”。对于任何给定的查询，我们都会面临查询与文本、查询与图像两个潜在的语义鸿沟。

研究发现，使用 jina-clip-v2 评估时，“Query-to-text”的相似度通常高于“Query-to-image”的相似度。这部分源于模型的训练方式和数据集特性。直观上，这似乎意味着基于文本检索文档更为可靠。例如，当使用查询文本“... for undocumented immigrants helping to establish legal status in the United States”时，通过文本匹配确实能获得更好的结果。若仅通过图像搜索，甚至可能无法检索到目标文档。

然而，事情并非如此简单。尽管“Query-to-text”显示出更高的相似度分数，但关键在于，这两个模态的相似度分数是不可直接比较的。一个有力的证据是，在使用 jina-clip-v2 从EDIS数据集中检索32个文档时，尽管文本相似度分数更高，但“Query-to-Image”的recall@10（召回率前10名）反而明显更高。

另一个例子更能凸显这种矛盾：对于查询“Ear ear An elephant is decorated with Bhartiya Janta Party symbols near the BJP headquarters in New Delhi.”，只有通过图像内容才能检索到真实的目标文档；若只依赖文本搜索，则一无所获。

这就让我们陷入两难：相似度分数暗示我们应优先文本检索，而召回率数据又指示我们应优先图像检索。那么，到底哪种模态更能反映查询与文档的最佳匹配？如果想合并两种检索方式的候选结果，在分数不具可比性的情况下，又该如何有意义地选出最佳匹配呢？显然，仅依赖 jina-clip-v2 这样的嵌入模型是不够的。我们需要更专业的工具来“裁判”这些多模态信息。

破局之道：jina-reranker-m0与两阶段检索策略

针对上述挑战，Jina AI 推出了 jina-reranker-m0，这是一款专为包含图像的文档进行检索和排序优化的多语言、多模态文档重排序模型。其核心优势在于，它的模态鸿沟相比 jina-clip-v2 要小得多。“Query-to-text”与“Query-to-image”的相似度分数分布非常接近，这意味着它能更公平地评估不同模态内容与查询的整体相关性。

基于 jina-reranker-m0 的这一特性，一个简洁而有效的两阶段检索流程应运而生：

第一阶段：多路候选召回 (Candidate Recall)

使用 jina-clip-v2 等嵌入模型，分别通过文本搜索（Query-to-text）和图像搜索（Query-to-image）从大规模语料库中各自检索一定数量的候选文档（例如，各检索16个，共计32个初步候选）。

此阶段的目标是广泛收集潜在相关的文档，暂时不纠结其原始分数的直接可比性问题，重点在于“召回”，宁可错杀，不可放过。

第二阶段：统一的多模态重排序 (Unified Multimodal Reranking)

将第一阶段召回的每一个“查询 + 完整文档（包含文本和图像）”的组合，都输入给 jina-reranker-m0 模型进行处理。

jina-reranker-m0 会综合考量查询与文档中所有模态信息（文本、图像）的整体匹配度。

输出一个在统一尺度下的、具有可比性的相关性分数，用于对这些候选文档进行最终的、更精确的排序。

这个“先召回，后精排”的策略，巧妙地结合了嵌入模型的广泛覆盖能力和重排模型的精准判断能力。

实验验证与未来展望

为了验证这一两阶段流程的有效性，研究者进行了一系列实验。实验对比了多种检索与重排序策略，包括纯文本召回与重排、纯图像召回与重排，以及混合召回与单模态/多模态重排。

（尽管原始材料未给出完整实验结果，但其设计思路清晰指向了基于 jina-reranker-m0 的多模态重排策略的优越性。）

预期结果表明，采用 jina-clip-v2 进行多路召回（文本和图像），再利用 jina-reranker-m0 对这些混合候选进行统一的多模态重排序，能够显著提升搜索结果的质量和公平性。这意味着用户最终看到的搜索结果，其排序更能真实反映文档内容与查询意图的综合匹配程度，无论是文本还是图像的贡献都能得到恰当的评估。

jina-reranker-m0 的出现，不仅为多模态搜索排序提供了一个有效的解决方案，也为未来更智能、更懂用户的AI应用奠定了基础。随着大模型（LLM）和人工智能（AI）技术的飞速发展，我们有理由相信，类似 jina-reranker-m0 这样的精细化模型将在信息检索、内容推荐、智能问答等多个领域发挥越来越重要的作用，推动AGI（通用人工智能）的实现。想要获取更多AI领域的最新动态和深度分析，欢迎访问 AI门户 AIGC.bar。

结论

多模态文档的公平打分与重排是提升搜索体验的关键一环。传统的单模态评分比较方法因“模态鸿沟”的存在而捉襟见肘。jina-reranker-m0 及其所支持的两阶段检索策略，通过在重排阶段引入一个能够更公平评估图文综合相关性的模型，有效地克服了这一难题。这不仅提升了搜索结果的准确性和用户满意度，也为我们探索更高级的人工智能应用，如更精准的提示词（Prompt）工程和AI内容变现，开辟了新的可能性。关注 AIGC.bar 获取每日AI日报和行业洞察，与我们一同见证AI的未来。