案例分享|中山三院医学影像报告辅助生成案例分析

背景与目标
在医院的计算机断层扫描（CT）影像科，放射科技师利用先进的医疗成像设备进行患者身体结构扫描，快速生成描述器官尺寸、形态和功能状态的影像学文本。临床医师将根据这些影像学文本，结合患者的临床症状和体征，进行综合分析，生成临床印象诊断。在传统的印象诊断流程中，医师通常依赖于标准化模板，对模板内容进行个性化调整，这一过程通常需要至少花费5分钟的时间。
为了提高临床印象诊断的生成效率，科室期望利用大型预训练语言模型的微调技术，来辅助医师生成初步的诊断意见。通过训练模型学习大量的医学影像文本和临床数据，模型能够提供更加精准和个性化的诊断建议。这些建议将作为医师进行最终审核和修改的基础，从而显著提高诊断流程的整体速度和质量。

该院日常样本分析及处理
数据样本
该科室在日常的临床检查和诊断工作中，积累了丰富的诊断报告资源。报告包含了病人的基本信息、检查信息、检查及诊断结果，为大模型微调的奠定了坚实的数据基础，避免了了数据采集和数据标注的成本。客户首次提供了科室1个月的报告数据，总计超2500条记录。
数据清洗
课题专家讨论，过滤冗余字段，只保留与印象诊断生成相关的辅助信息，如年龄、性别、检查部位、临床诊断等。
数据质量分析
人信息真实、报告内容研究、文本质量高，无缺失值、重复值。
数据拼接
在本次大模型的微调任务中，数据以单轮对话形式存在，因此需要对任务指令、输入和输出格式进行定义。由于实际应用为接口方式，而非人机对话模式，单一指令即可满足需求
样本均衡性
与课题专家共同对样本中不同器官正常样本、不用疾病类型的样本数量展开估算，并对性别、年龄等辅助信息是否全面覆盖展开分析，最后补充样本记录至4000多条
数据划分
·采用随机抽样形式划分整体数据体；
·按照7.5：1.5：1比例划分训练集、验证集合合测试集

针对目前这种情况，进行模型优化，主要有以下几个点
模型部署：试运行阶段，工程师采用VLLM框架对微调后大模型进行部署，并发布流式生成接口，能够支持五个并发（在5台设备上试用）的请求处理。
模型应用：在客户开发的医疗成像设备系统中，诊断报告生成子系统将集成一项创新功能，即"AI诊断"。此功能旨在通过调用本API接口，实现诊断意见自动生成。
持续优化：系统还具备高级的记录和反馈机制，系统将保存修改和审核诊断报告记录，形成后续微调或基于人类的反馈学习的基础数据样本，实现模型持续优化。
针对优化的结果，主要表现在以下几个方面：
在医学影像诊断：通过使用“生成式AI大模型”学习医学影像数据，辅助医生快速识别病变部位，提供初步的诊断建议，在影像诊断方面的准确率超80%，每张影像报告诊断意见生成时间节省一半以上。减轻医生的工作负担，降低漏诊率。
在科研与教学：放射科作为一个重要的医学科研和教学领域，需要大量的数据支持和智能分析。“生成式AI大模型”通过对海量数据进行深度挖掘和分析，为科研人员提供有价值的数据发现，同时也为教学和科研提供丰富的案例和资料。

中山三院感谢信