破解AI医生“高分低能”：清华MultiCogEval重塑大模型医学评测｜AI资讯

type

status

date

slug

summary

引言：AI医疗的“高分低能”困境

大语言模型（LLM） 的浪潮正席卷全球，医疗行业被视为其最具潜力的应用场景之一。理论上，像ChatGPT、Claude这样强大的人工智能（AI）模型，凭借其卓越的文本理解和生成能力，能够辅助医生解读病历、分析文献、甚至提供诊断建议，极大地提升医疗效率。

然而，一个尖锐的矛盾摆在所有从业者面前：尽管许多顶尖大模型在MedQA等标准化医疗问答测试中取得了超过90%的惊人准确率，但在真实、复杂的临床一线，它们的表现却屡屡碰壁，暴露出“高分低能”的窘境。这不禁让人深思：究竟是模型的医学知识库不够完善，还是它们根本缺乏将知识转化为临床实践的能力？这一问题是当前AI领域，特别是人工智能医疗应用亟待解决的核心挑战。

近日，一篇来自清华大学医工交叉平台的重磅研究为我们提供了答案。该团队在顶会ICML上发表了名为 MultiCogEval 的全新评测框架，首次提出了针对大模型医学能力的“全周期”评估体系，为我们系统性地剖析和提升AI的临床能力提供了革命性的工具。

为什么顶尖大模型在临床上“水土不服”？

当前大模型评测的主要问题在于其“管中窥豹”的局限性。现有的评测基准，大多以选择题或简单问答形式出现，这本质上是在考验模型的“知识记忆”而非“临床智慧”。

一名合格的人类医生，其成长路径绝非仅仅是背诵医学知识。他需要经历从基础知识学习，到临床见习应用，再到住院医师规范化培训中处理复杂真实病例的全过程。这个过程恰好对应了认知能力的三个层次：记忆与理解 -> 分析与应用 -> 规划与求解。

而现有评测体系的单一性，导致我们无法区分一个大模型究竟是“知识渊博的学者”还是“经验丰富的医生”。它们可能知道所有关于某个疾病的知识点，却无法在信息不完整、情况动态变化的真实诊疗场景中，主动规划检查、进行多步推理，并最终做出可靠的诊断。这正是“高分低能”现象的根源所在。

MultiCogEval：模拟医生培养的“全周期”评测新范式

为了打破这一僵局，清华团队提出的MultiCogEval框架，其核心思想就是模拟人类医生的培养全流程，构建一个覆盖不同认知层次的评测体系。它不再满足于单一的任务类型，而是设计了一系列层层递进的挑战，旨在全面衡量LLM的医学综合素养。

该框架最大的创新在于，它不仅评估模型“知道什么”，更重要的是评估模型“能做什么”，尤其是在接近真实临床工作流的场景下。通过统一医学知识点和评测指标，MultiCogEval实现了跨认知层次的能力对比，让模型的优缺点一目了然，为后续的优化指明了方向。

深度解析MultiCogEval的三大认知层次

MultiCogEval将大模型的医学能力划分为三个核心认知层级，层层递进，精准考核：

基础知识掌握 (低阶认知)：这一层级主要评测模型对基础医学知识的记忆和理解能力。它采用传统的医学选择题形式，是目前大多数评测的重点，也是当前大模型表现最好的领域。这相当于医学生的理论课考试。

综合知识应用 (中阶认知)：难度开始提升。这一层级评测模型综合运用知识解决具体临床任务的能力。与选择题不同，这里的任务信息更少、决策空间更大，需要模型进行多步推理才能得出结论。这好比医学生进入临床见习，开始分析典型病例。

场景问题求解 (高阶认知)：这是对模型临床能力的终极考验。它模拟了真实的诊断流程，模型不再是被动地接收所有信息，而是需要像医生一样，在信息不足的情况下，主动规划需要进行哪些检查（如体格检查、实验室化验、影像学检查），然后根据收集到的新信息，一步步推理，最终做出诊断。这直接拷问了模型在动态、不确定环境下的高级决策和规划能力。

实验揭示：从“学霸”到“医生”，AI还有多远？

研究团队使用MultiCogEval对包括GPT-4o、DeepSeek-V3和Llama3-70B在内的一系列主流大模型进行了系统性测试，结果发人深省：

能力断崖式下跌：所有SOTA模型在低阶任务上都表现出色（准确率超60%），堪称“学霸”。然而，一旦进入中阶任务，性能平均下降约20%。而在最能反映真实临床能力的高阶任务上，所有模型都表现挣扎，即便是表现最好的模型，全链条诊断准确率也仅为19.4%。

医学微调的局限性：针对医学领域进行微调（SFT）虽然能有效提升模型在低、中阶任务上的表现，但对于高阶的“场景问题求解”能力，提升微乎其微，有时甚至出现性能退化。这说明简单的“喂”数据，无法教会模型如何像医生一样思考。

推理增强的潜力：采用推理时扩展（Inference-time Scaling）等先进技术，能显著提升模型在所有认知层级的表现，尤其是在中阶任务上。但这依然没有从根本上解决高阶任务的挑战。

结论：开启可信赖AI医生新篇章

MultiCogEval的发布，是人工智能医疗领域的一个里程碑事件。它首次为我们提供了一把精准的“尺子”，不仅能量化大模型在医学领域的真实能力，更重要的是揭示了当前技术的核心短板——即从知识到智慧的转化能力，尤其是在复杂场景下的主动规划与决策能力。

这项研究清晰地告诉我们，通往“可信赖的AI医生”之路，绝非简单的模型堆叠或数据灌输。未来的研发重点必须从追求评测分数，转向提升模型的高阶认知能力。MultiCogEval为这一方向奠定了坚实的基础，我们有理由相信，在这一框架的指引下，大模型将加速进化，真正成为医疗领域可靠、高效的得力助手。

想要获取更多关于AI、AGI的前沿AI新闻和深度解读，欢迎访问AI门户网站 AIGC.bar，掌握人工智能的最新动态。