登录

科学网—医生和AI合作,如何划定医疗责任?


速读:然而,人工智能工具在带来益处的同时,也催生了全新的患者安全风险,一旦发生医疗事故,责任归属问题也随之而来。 监管机构应当要求厂商提供充分证据,证明系统能够改善诊疗质量。 尽早行动,才能推动人工智能技术合规研发、规范监管与有序落地,最终改善患者诊疗水平。
医生和AI合作,如何划定医疗责任? 精选

已有 165 次阅读

2026-7-30 09:01

| 系统分类: 海外观察

医生和 AI 合作 , 如何划定医疗责任 ?

基于人工智能在患者护理中作用的分阶段系统,可以帮助识别在护理失败时谁应负责任。

图片3.png

插图:尼科 ·布劳施

人工智能正快速融入各类医院与诊疗机构。然而,人工智能工具在带来益处的同时,也催生了全新的患者安全风险,一旦发生医疗事故,责任归属问题也随之而来。

传统医疗体系中,各方责任划分清晰明确:临床医师必须提供符合标准的诊疗服务;医疗机构需要搭建安全的诊疗流程;设备厂商应当交付无缺陷的医疗器械;审批、资质监管机构一旦发现相关主体未能达到规范要求,可及时介入;若患者遭受医疗损害,法院能够判定责任方。

但新一轮医疗人工智能工具的普及,将会模糊上述权责边界。

现阶段的人工智能工具大多仅作为辅助手段,最终仍由人工复核,和其他医疗器械的使用模式相近。例如,当人工智能模型预警患者存在脓毒症风险时,临床医师必须复核、确认背后的生理依据,之后才能开展治疗。

医疗人工智能有望变革医学,但前提是我们严密追踪其处理的所有数据

不过在未来数年,临床人工智能工具预计将实现升级:不再只是整合数据,还将依据数据自主采取行动,人为干预会越来越少。人工智能将独立作出诊断、制定治疗方案、开展患者管理决策,临床医师参与度极低甚至完全不参与。很多现有工具的运算逻辑易于理解 ——比如脓毒症风险模型,依靠固定生理指标、遵循公开公式运算得出结果。但更先进的人工智能工具会采用黑箱深度学习算法。即便部分算法会对结论给出一定解释,临床医师依旧无法完整厘清工具的推导逻辑。

这类工具恰好处于现有问责规则的空白地带。黑箱式运算逻辑,让人们难以界定工具何时属于存在缺陷。当医疗决策由人类和不透明的人工智能模型共同完成,一旦患者受到伤害,责任认定将十分困难。现行医疗损害责任框架,无法应对这种人机协同的责任交叉场景。

这种法律层面的不确定性意味着:遭受损害的患者可能陷入责任真空,没有任何一方被明确认定违规。出于法律风险考量,医院可能放弃部署具备实用价值的人工智能功能;不少医师多次提及,法律隐患阻碍人工智能安全落地,部分观点甚至认为,当下不应投入使用这类黑箱工具。与此同时,人工智能厂商也可能规避上市后的安全监测义务,因为一旦出现事故,很难界定责任归属。

因此,我们亟需一套清晰的责任划分框架。

本文提出一套可行方案:依据自主性、自动化程度、适用范围三大要素,划分人工智能的七个能力等级。航空、自动驾驶领域的监管机构早已采用分级标准,明确系统能够执行哪些任务、自主程度如何、何时需要人工接管。为医疗人工智能建立类似分级体系,能够帮助监管机构、政策制定者、各国政府、法院以及医疗行业协会应对即将大规模投入使用的人工智能系统。

三大核心特性,七个能力等级

三大特性决定人工智能在临床场景中的应用模式:

第一,自主性:系统独立推导判断、无需人工介入的能力。现有的脓毒症风险模型属于低自主性人工智能工具。与之相对,深度学习系统能够依托成千上万项变量特征得出诊断,其推导过程医师无法逆向追溯。

第二,自动化程度:医疗人工智能系统能够独立执行的任务范围。跨度可以很大:从需要外科医生操控、自动化程度较低的手术机器人,到能够直接向药房发送化疗处方的智能系统。

第三,适用范围:系统获准运行的场景边界。同一款眼底影像系统,如果由眼科专科机构用来复核临床判断,风险较低;倘若放在基层诊所,依靠系统自主决定是否转诊患者,风险会显著升高。

图片4.png

(配图说明:一名女性接受人工智能辅助乳腺癌筛查,医护人员通过电脑监控检查过程。波兰克拉科夫正在试用一款借助人工智能检测乳腺癌的扫描仪。图片来源:克劳迪娅 ·拉德茨卡 / 纽图片社,盖蒂图片社)

以下 七个等级 ,可作为界定医疗人工智能风险的基础。同一款工具,根据使用场景、操作人员、使用方式不同,可能归属于不同等级。

0级:信息提供型

无自主性、自动化程度灵活、适用范围有限。系统严格按照人类设定规则存储、调取、展示数据。

案例:电子病历管理算法、可穿戴设备生命体征数据传输程序。算法运行逻辑透明,所有输出结果均可独立核验。

该类别监管模式已经十分成熟。监管机构可以评估工具可靠性、网络安全与数据保护水平;法院能够沿用传统标准判定责任。

1级:辅助提示型

低自主性、低至中等自动化程度、适用范围有限。系统只能执行单一、定义明确的任务,全程由临床医师监督。

例如:心电监护仪标记异常心律、影像扫描标出疑似肺结节。这类工具算法逻辑或许不透明,但输出结果可通过医师复核患者资料,或是借助可解释性技术,核验模型输入与输出之间的关联。

该类工具按诊断辅助设备监管,和目前乳腺钼靶、肠镜的计算机辅助检测系统标准一致。医院负有责任,确保医护人员清楚工具的局限性;使用者需要准确判断系统警报是否具备临床意义。

2级:决策支持型

低自主性、低至中等自动化程度、适用范围中等。系统整合多源数据,包括症状、既往病史、影像资料、现行诊疗指南。

当前该等级工具可以出具诊断与治疗方案、撰写详细出院小结、生成分诊风险评分。和 1级工具一样,定位为参考建议;运算逻辑可能不透明,但具备一定可核验性,最终决策权仍归临床医师。

监管机构应当要求厂商提供充分证据,证明系统能够改善诊疗质量。医院必须培训医师,不要被动采信系统给出的建议,主动质疑人工智能输出结果。法院则需要判断:医师在当时情形下依赖人工智能建议是否合理。

风险隐患:医师工作繁忙时,容易过度依赖辅助工具;外界很难量化人工智能的建议究竟对医师产生了多大影响。

3级:监督下自动化

中等自主性、中等自动化程度、适用范围中等。系统代替临床医师作出决策,目前这类工具尚不多见。

在严格限定场景内,系统可根据诊疗需求动态调整。举例:胰岛素输注设备依托内置算法与预设阈值,根据持续血糖读数自动调整给药剂量。医师筛选适用患者接入系统,仅在出现异常时介入干预。

图片5.png

(图表说明:现行医疗人工智能分类。水平堆叠柱状图统计全球获批医疗人工智能设备数量前五国的应用等级,覆盖 0级(人工智能辅助应用)至3级(监督下自动化)。

监管机构应当重点审核设备操作、维护指南,以及诊疗过程自带的相关风险说明。医疗机构需要完善知情同意规范,应对人工智能诊疗带来的新型风险,医护人员应当和患者充分沟通相关风险。

对于这类系统,医师可能因选错适用患者、忽视设备警报、不了解系统局限而承担责任;医疗机构需要为技术选型、有效性验证、持续监测负责;若设计缺陷、程序更新引发损害,厂商需要承担相应责任。

但传统责任判定模式存在短板:如果医师和机构操作均合乎规范,损害源于人工智能算法作出的、无法直观判断存在错误的决策,责任认定将会十分棘手。

4级:人工智能触发人工介入监督

中高自主性、中高自动化程度、适用范围广泛。系统可管理重症监护等场景完整诊疗周期,持续监测患者并动态调整治疗方案,例如同时依据多项生理指标,平衡呼吸机参数与镇静药物用量。一旦出现异常,系统自动启动应急预案,呼叫快速响应医疗团队。临床医师作为安全兜底力量,仅在系统发出警报时介入。

4级应用尚未在医疗领域大规模落地,但所需相关技术组件正逐步成熟。

针对这类系统,监管机构需要有力证据证明:保留人工参与环节有助于提升安全水平。由于医师几乎没有机会实时复核系统所有操作,法院很难判定不良结局究竟源于人为过失、设备潜在缺陷,还是医疗本身固有的风险。

5级:自主临床医师型

这类人工智能系统具备高度自主性与自动化水平,适用范围广泛。 5级对应医疗领域的完全自主系统——获得许可后,可在多种场景下处理各类可诊断病症与常规治疗。5级工具能够采集病史、安排并解读检查、开具药物并调整剂量、处理并发症。人类仅保留必要时的干预权限。目前现实中尚无系统能够达到这一标准。

监管机构应当明确划定该系统可处理的病症范围以及适用人群,因为常态化人工复核这一重要安全保障已经消失。传统过失认定标准在此完全难以适用。倘若系统经过合规审批、依照获批适应症部署、按规范使用,且给出的建议符合现行诊疗指南,那么出现无法预见的不良后果时,该结果可能并非源于设备缺陷或任何一方的过错。

6级:自学习医疗人工智能

此类系统拥有极高的自主性与自动化水平,适用范围广泛。系统既能提供完全自主的诊疗服务,还能依托新增数据与最新研究成果持续迭代自身诊疗模式。这类工具一旦研发成功,或许能够发现疾病亚型、设计给药方案,或是提出尚未开展人体试验的全新疗法。

一个尚无定论的问题是:这类系统究竟应当被视作临床人工智能,还是仅作为研发科研工具。如果一项创新治疗方案全程无人工参与并造成患者损害,责任归属难以界定:究竟是研发方、启用这套自学习系统的医院,还是享受该系统成果的整个医疗体系承担责任?

后续推进举措

为迎接 3级及以上等级人工智能工具大量落地,需要落实以下改革:

监管机构应当将自动化程度、自主性、适用范围视作相互独立的评判维度。监管部门可依据工具的预期用途与研发企业提交的证据,为上市工具划定初始等级。许多人工智能工具具备多种用途,应当针对每一项列明功能单独划定等级。

这套精细化分级体系,有助于监管机构进一步完善人工智能相关法规,包括美国食品药品监督管理局( FDA)、欧盟针对医疗设备类人工智能制定的监管框架,以及《欧盟人工智能法案》这类跨领域人工智能法规。七级分级体系可用于设定审批条件、上市后监测义务、医师监督要求,依据人工智能工具承担的职能,匹配风险适配的监管规则。

为防范研发企业向监管机构施压,谋求给产品划定尽可能低的风险等级,一款工具的整体分级,应当按照其所有预期用途、合理可预见用途所对应的 **最高等级**确定。若申请下调分级,研发企业必须提供证据,证明该工具投入使用后,现实中仅会开展更低风险的应用场景。

监管机构还应明确人工复核的时机与方式,并针对高自主性系统界定有效复核的标准 ——对于这类系统,医师无法还原算法的推导逻辑。有效复核可以包括核查工具是否部署在适宜场景、定期核验系统运行表现、统计人工推翻系统决策的频次。若工具的使用地点、使用方式发生变更(例如原本获批仅在专科中心使用,后续计划推广至偏远诊所),应当启动新一轮审查。

医疗机构需要监管与资质主管部门出台清晰指引,规范系统选型、持续监测与治理管理。医疗机构至少应当完成以下工作:在本院患者群体中验证工具性能、对医护开展培训,使其知晓人工智能局限性、留存人工智能作出的全部决策记录、建立监测机制,以便在系统出现异常时及时干预。同时,医疗机构需要核查工具实际使用场景,确定其运行对应的分级。相关记录将作为安全审查与责任纠纷案件的重要依据。

立法机构与法院应当认识到,现有法规难以判定黑箱系统是否存在缺陷。涉及人工智能造成损害的案件,需要完善法律规则,实现对工具 “运行行为”的法律评判。裁判思路应当考量各方主体(医师、设备厂商、医疗机构)对人工智能工具拥有多大掌控权,以及该主体是否有能力采取措施预防损害再次发生。立法者还可要求所有相关主体购买人工智能损害责任险,同时要求商业保险与公立保险机构,将人工智能相关风险纳入产品责任险、职业责任险与普通商业保险保障范围。

当下正是构建安全、负责任的医疗人工智能应用体系的窗口期。目前人工智能应用仍处于较低等级,医疗体系尚未高度依赖高自主系统。倘若等到 3级、4级系统常态化投入使用后再采取行动,法院、立法者与政策制定者只能被动采取临时性应急处置,难以清晰划分责任边界。尽早行动,才能推动人工智能技术合规研发、规范监管与有序落地,最终改善患者诊疗水平。

doi: https://doi.org/10.1038/d41586-026-02315-9

转载本文请联系原作者获取授权,同时请注明本文来自孙学军科学网博客。 链接地址: https://blog.sciencenet.cn/blog-41174-1545572.html

上一篇: 脑类器官计算机的伦理问题挑战 下一篇: 头颈部肿瘤放化疗期间辅助吸氢代谢变化研究【泰国】 欢迎参加科学网十佳博文评选活动! 主办单位: 支持单位:

主题:人工智能工具|如何划定医疗责任