医疗AI大模型合规运营与法律风控的思考
医疗大模型是一种基于人工智能技术的医疗应用,它通过整合大量的医学数据和知识,构建一个庞大的模型来辅助医生进行诊断、治疗和决策。这种模型可以包括疾病预测、药物研发、个性化治疗等多个方面,能够提供更准确、快速和全面的医疗服务。医疗大模型的建立需要依赖深度学习、自然语言处理等技术,通过对海量的医学文献、病例数据和专家经验进行分析和学习,从而提取出有用的特征和规律。医疗大模型的应用可以提高医疗效率和质量,减少误诊和漏诊的风险,为患者提供更好的医疗服务。
监管对医疗大模型的定位是生成式人工智能技术。随着医疗大模型的发展,这一产业合规运营与监管显得越发重要。
目前,监管对医疗大模型的定位是生成式人工智能技术。因此,对于“医疗大模型”的监管归口部门可能包括《生成式人工智能服务管理暂行办法》列举的“网信、发展改革、教育、科技、工业和信息化、公安、广播电视、新闻出版等部门”,“App专项治理”一类的跨部门形式,国家数据局,也可能包括垂直领域的卫生健康行政部门和中医药主管部门。如果涉及新药研发、新器械研发,还可能涉及国家药监局对于器审方面的监管。
医疗大模型合规运营风险点
第一,训练数据合法性风险。由于《数据安全法》《个人信息保护法》《著作权法》等法律的限制,训练数据来源的合法性问题可能构成大模型开发的实质性障碍,无论是自身互联网业务等积累的数据、从第三方采购的数据还是互联网公开数据,都可能涉及告知同意、匿名化、版权保护等问题。
第二,网络安全风险。大模型是一套信息系统,通常以SaaS或API等方式向个人或企业提供服务。与其他信息系统和网络服务一样,大模型也面临常规的网络安全问题。大模型运营者应当根据《网络安全法》等法律及相关标准,采取适当的技术措施和管理措施,以保障系统免受干扰、破坏或者未经授权的访问,并依法办理网络安全等级保护备案和测评。规模或能力达到一定门槛的大模型,一旦遭到破坏可能危及国家安全、国计民生或公共利益,因而构成关键信息基础设施,需要按照《网络安全法》等规定,采取更加严格的保护措施。
第三,医疗内容准确性问题(“幻觉”问题)风险。大模型生成内容存在准确性、可靠性问题,由于大模型本身主要是通过文字相互联系的概率来生成内容,因此在不实时核查的情况下基本无法保证输出内容的真实性和准确性,尤其是在应用于医疗领域的情况下,可能会影响诊疗准确性。
第四,医疗宣传规制风险。《中华人民共和国广告法》规定“通过一定媒介和形式直接或者间接地介绍自己所推销的商品或者服务”的属于广告,《医药行业合规管理规范》规定“凡利用各种媒介或者形式发布的广告含有药品名称、药品适应证(功能主治)或者与药品有关的其他内容的,为药品广告”,因此如果医疗大模型输出对应内容的,可能存在被认定为属于“药品广告”的风险。
第五,相关应用被认定为“无备案/许可经营”的风险。原国家食品药品监督管理总局《医疗器械分类目录》规定:诊断功能软件风险程度以其采用算法的风险程度、成熟程度、公开程度等为判定依据,不仅仅以处理对象(如:癌症、恶性肿瘤等疾病的影像)为判定依据。若诊断软件通过其算法,提供诊断建议,仅具有辅助诊断功能,不直接给出诊断结论,本子目录中相关产品按照第二类医疗器械管理。若诊断软件通过其算法(例如,CAD,骨密度除外)对病变部位进行自动识别,并提供明确的诊断提示,则其风险级别相对较高,本子目录中相关产品按照第三类医疗器械管理,因此如果相关应用未注册为医疗器械,则可能面临被认定为“未经备案/许可从事医疗器械经营活动”的风险。
医疗大模型运营企业风险规避路径
有计划想要布局医疗大模型产品业务的企业可采取以下有效措施来规避、消除风险:
第一,确定自身的产品定位为何并获取对应的资质,避免无资质开展相应活动。“医疗大模型”可能适用于不同的领域,包括“AI+新药研发”“AI+医学影像”“AI+医疗机器人”“AI+健康管理”“AI+互联网医疗”等,其中,仅“AI+互联网医疗”方面的应用属于互联网诊疗。
《互联网诊疗管理办法(试行)》明确:互联网诊疗是指医疗机构利用在本机构注册的医师,通过互联网等信息技术开展部分常见病、慢性病复诊和“互联网+”家庭医生签约服务。因此“医疗大模型问诊是否属于互联网诊疗”,取决于是否有配套的互联网医院(如阿里健康西安高新互联网医院、成都双流华府医院桃子互联网医院等),以及是否通过末端应用提供相应的诊疗服务。
合规方面,首要应当确定自身的产品定位,如属于互联网诊疗产品的,需要联系或建立对应的实体医疗机构并申请设置相应的互联网医院,并在医师资源、病历管理、药品配送、处方开具上满足相应要求,如仅作健康管理,不涉及诊疗活动的,必须明确自身产品不具有“医疗目的”,仅“预期用于健康管理、目标人群为健康人群、记录统计健康信息”用。
第二,应当采取数据清洗等方式确保去除公开数据中的违法和不良信息及个人信息,保证训练数据合法合规。医疗大模型收集用户数据的要求,需要遵循合法、正当、必要的原则,不收集与所提供服务无关的个人信息。
可以参考2019年3月《App违法违规收集使用个人信息自评估指南》的评估项检查信息收集是否合规。医疗大模型收集用户数据的红线行为包括:未公开收集使用规则;未明示收集使用个人信息的目的、方式和范围;未经用户同意收集使用个人信息;违反必要原则,收集与其提供的服务无关的个人信息;未经同意向他人提供个人信息;未按法律规定提供删除或更正个人信息功能或未公布投诉、举报方式等信息。
收集互联网公开数据时,为实现其合法合规,还需要履行告知同意程序、匿名化程序、提供拒绝渠道等操作。此外,应当注重数据集标注机制,通过标注实现防止生成政治不正确、色情暴力、歧视性信息等违法和不良内容,实现内容安全。
第三,应当注重运营阶段的审核,通过建立完整科学可落地的审核机制,对用户输入的和大模型产品输出的信息进行审核。建立应急制度,在发现时需要第一时间报告有关负责人,有关负责人应报告属地网信部门,组织协调相关用户和发布平台删除违法违规内容,并在事后对训练标注、内容审核等环节暴露出的不足进行整改。
第四,注重医疗大模型搭载“医院推荐”的风险防范,防止违规线下引流等嫌疑。对于自然搜索结果,2023年3月市场监管总局发布的《互联网广告管理办法》明确:对于竞价排名的商品或者服务,广告发布者应当显著标明“广告”,与自然搜索结果明显区分。搜索引擎根据算法输出的内容,与大模型输出的内容存在一定的相似之处。
医疗大模型搭载“医院推荐”的风险,主要集中在“是否收费、是否存在控制内容的行为”,如存在收取广告费或存在算法歧视影响公平竞争的行为,可能被认定为属于需要监管的医疗广告。为防止违规线下引流等嫌疑,建议在展示页面上标注经营范围、患者重合度、患者占有率等客观因素,并明确“系综合现有信息而作出,不代表任何实际诊疗建议”。
本文由小熊AI网发布,不代表小熊AI网立场,转载联系作者并注明出处:https://www.xiaoxiong360.com/html/industry/1861.html