AMIE——基于LLM的对话式诊断研究AI系统
研究人员在真实世界的数据集上训练AMIE,这些数据集包括医学推理、医学总结和真实世界的临床对话。
使用通过被动收集和转录个人临床访问而开发的真实世界对话来训练LLM是可行的,但是,有两个重大挑战限制了它们在训练医学对话LLM方面的有效性。
首先,现有的真实世界数据往往无法捕捉到大量的医疗条件和场景,这阻碍了数据的可扩展性和全面性。
其次,从真实世界对话记录中获得的数据往往是嘈杂的,包含含糊不清的语言(包括俚语、行话、幽默和讽刺)、中断、不合语法的语句和不明确的引用。
为了解决这些局限性,研究人员设计了一个基于自演的模拟学习环境,该环境具有自动反馈机制,用于虚拟医疗环境中的诊断性医疗对话,使研究人员能够在多种医疗条件和环境中扩展AMIE的知识和能力。
除了所描述的真实世界数据的静态语料库之外,研究人员还利用该环境通过不断变化的模拟对话集对AMIE进行了反复微调。
这一过程包括两个自我循环
(1)「内部」自演循环,即AMIE利用上下文中批评者的反馈来完善其与人工智能患者模拟器进行模拟对话的行为;
(2)「外部」自演循环,即完善的模拟对话集被纳入后续的微调迭代中。
由此产生的新版AMIE可以再次参与内循环,形成良性的持续学习循环。
此外,研究人员还采用了推理时间链策略(inference time chain-of-reasoning strategy),使AMIE能够根据当前对话的情况逐步完善自己的回答,从而得出有理有据的答复。
研究人员采用上述随机方法测试了模拟患者(由专业的演员扮演)的问诊表现,并与20名真实初级保健医生的问诊表现进行了对比。
在一项随机、双盲交叉研究中,研究人员从专科主治医师和模拟患者的角度对AMIE和初级保健医生进行了评估,该研究包括来自加拿大、英国和印度OSCE提供者的149个病例场景,涉及各种专科和疾病。值得注意的是,研究人员的研究既不是为了模仿传统的面对面OSCE评估,也不是为了模仿临床医生通常使用的文本、电子邮件、聊天或远程医疗方式。
相反,研究人员的实验反映了当今消费者与LLM交互的最常见方式,这是人工智能系统参与远程诊断对话的潜在可扩展且熟悉的机制。
本文由小熊AI网发布,不代表小熊AI网立场,转载联系作者并注明出处:https://www.xiaoxiong360.com/html/industry/2709.html