基础模型（Foundation Models）是最新一代的人工智能模型，训练于大规模、多样化的数据集，能够应用于众多下游任务。最有名的当属GPT，随着AI技术的飞速发展，医疗领域也迎来了前所未有的变革机遇。
本文将概述23年4月发表于nature的Foundation models for generalist medical artificial intelligence。
和大家一起看看基础模型在通用医学人工智能（Generalist Medical AI, GMAI）的应用、前景与挑战，以及它如何通过多模态数据解析、动态任务学习和医学知识运用，彻底改变我们的医疗实践。
什么是通用医学AI（GMAI）？通用医学AI是一类先进的基础模型，具备处理多种医疗任务的能力，而无需针对每个具体任务进行单独训练。
与传统的AI模型不同，GMAI可以通过少量或无需标注数据，灵活应对不同的医疗需求。
这种模型通过在大规模、多样化的数据集上进行自监督学习，能够理解和整合来自影像、电子健康记录（EHR）、组学、实验室结果等多种数据类型，生成详细的诊断报告、治疗建议甚至蛋白质设计方案。
图1 | GMAI模型概况
a. GMAI在多种医学数据模态上通过子监督学习进行训练。为了实现灵活的交互，不管是文字、语音还是图像都要和语言配对。接下来GMAI需要访问各种医学知识源，以执行医学推理任务，从而解锁各种下游应用。最终，GMAI模型还能够执行用户实时指定的任务。为此，GMAI可以从知识图谱或数据库等来源检索上下文信息，利用正式的医学知识对以前未见过的任务进行推理。
b. GMAI模型为多个临床学科的众多应用奠定了基础，每个应用都需要经过仔细的验证和监管评估。
GMAI的核心能力动态任务指定（Dynamic Task Specification）用户只需用自然语言描述新的医疗任务、以前未见过的高度具体的问题，GMAI便能理解并执行，无需重新训练。例如，医生可以询问：“请解释这张头部MRI扫描中的肿块，更可能是肿瘤还是脓肿？”或者“这是十位患有新兴疾病——郎雅黑尼病毒感染的患者的病史记录。我们当前的患者也感染郎雅黑尼病毒的可能性有多大？”多模态输入与输出（Multimodal Inputs and Outputs）GMAI能够处理和生成多种数据形式，如图像、文本、音频等。临床医生可以同时上传多张影像和实验结果，GMAI则可以生成包含文字解释和图像标注的综合报告。医学知识的运用（Formal Representation of Medical Knowledge and Advanced Medical Reasoning）“该患者可能会发展为急性呼吸窘迫综合征，因为患者最近因严重胸部创伤入院，且尽管吸入的氧气分数增加，动脉血氧分压仍在稳步下降。”在手术过程中，GMAI可以实时标注视频流，提醒医生注意手术步骤或罕见解剖现象。传统医学AI缺乏医学领域的先验知识，主要依赖输入数据特征与预测目标之间的统计关联，而缺乏对病理生理过程等上下文信息的理解。GMAI不仅依赖数据中的统计模式，还能运用医学知识进行高级推理。GMAI模型可以根据观察数据推断并利用医学概念与临床发现之间的因果关系，从而提供治疗建议。GMAI模型能够生成自我解释的警示信息，例如：GMAI的实际应用案例图2 | GMAI的三种潜在应用
a. GMAI可以实现多功能且自我解释的病床边决策支持。
b. 基于事实的放射学报告配备了可点击的链接，用于可视化每个发现。
c. GMAI有潜力对模型开发过程中从未遇到过的现象进行分类。在增强手术流程中，通过利用医学领域知识和位置环境，对罕见的异常发现进行逐步推理解释。
下面是这6个应用方向，我觉得是能切身帮助到临床治疗的。
基于事实的放射学报告：GMAI可以自动生成详细的放射学报告，描述影像中的异常和正常发现，并结合患者病史提供互动式可视化，帮助放射科医生更准确地诊断疾病。增强手术流程：在手术过程中，GMAI能够实时标注视频，提供语音提醒，甚至在遇到罕见病理现象时，依据解剖学知识进行推理，辅助外科医生做出更准确的判断。床边决策支持：GMAI可以解析电子健康记录，预测患者未来的健康状况，并提供详细的治疗建议，帮助临床医生做出更明智的决策。互动式笔记记录：通过监控医生与患者的对话，GMAI能够自动起草病历记录和出院报告，减少医生的行政负担，让他们有更多时间专注于患者护理。面向患者的聊天机器人：GMAI驱动的聊天机器人能够与患者互动，提供健康建议和解释，甚至根据患者自带的数据（如饮食照片）进行健康监控，提升患者的自我管理能力。文本生成蛋白质：GMAI可以根据文本描述生成蛋白质的氨基酸序列及其三维结构，辅助科学家进行蛋白质设计，加速药物研发和生物工程的进展。GMAI的机遇与挑战机遇可控性：GMAI允许用户精确控制输出格式，提供多语言支持和个性化定制，满足不同用户的需求。适应性：GMAI能够通过上下文学习，迅速适应新技术、新疾病和不同的医疗环境，无需频繁重新训练。广泛适用性：GMAI作为基础模型，可以支撑多种下游应用，涵盖从诊断、治疗到患者管理的各个方面。挑战验证与验证：由于GMAI的多功能性，全面验证其在所有可能任务中的表现极为困难。需要新的验证方法和多学科团队参与，确保模型的可靠性和准确性。社会偏见：医疗AI模型可能因训练数据中的不平衡或有害关联而产生偏见，影响边缘化群体。需要持续审计和监管，防止偏见的积累与加剧。隐私保护：GMAI模型处理大量敏感的患者数据，必须严格遵守隐私保护法规，防止数据泄露和滥用。规模与成本：训练和部署大型GMAI模型需要庞大的计算资源和高昂的成本，同时对环境也有显著影响。需要探索高效的数据收集和模型压缩技术，降低成本和环境负担。结语通用医学AI（GMAI）正在为医疗领域带来革命性的变化。通过其多模态数据解析、动态任务学习和医学知识运用能力，GMAI有望在诊断、治疗、患者管理等多个方面提供强大的支持，提升医疗服务的质量和效率。
然而，要充分发挥GMAI的潜力，我们需要共同面对和解决验证、社会偏见、隐私保护和规模等方面的挑战。
未来，随着技术的不断进步和相关政策的完善，GMAI将成为医疗实践中不可或缺的智能助力，助力临床医生更好地服务于每一位患者。
让我们共同期待GMAI在医疗领域的广泛应用，为健康中国的建设贡献智慧和力量！Make the world better！
参考文献Moor, M. et al. Foundation models for generalist medical artificial intelligence. Nature 616, 259–265 (2023).
