近日，西安交通大学管理学院王迪副教授、王尧教授以及林绍波教授组成的研究团队在慢性病精准医疗决策领域取得重要理论突破。团队创新提出可扩展核函数分布式Q学习算法，有效解决了大规模电子健康病历数据下动态治疗方案的算力瓶颈问题，为智慧医疗个性化精准诊疗提供了高效、可靠的全新方法。研究成果《面向动态治疗方案的核基分布式Q学习：一种可扩展强化学习方法》（《Kernel-Based Distributed Q-Learning: A Scalable Reinforcement Learning Approach for Dynamic Treatment Regimes》‌）正式发表于国际顶级期刊《运筹学与管理科学研究协会计算期刊》（INFORMS Journal on Computing，UTD24期刊）。

在医疗中，癌症、糖尿病等慢性病疗程长、阶段多、个体差异大，传统“一刀切”式治疗方案无法适配患者个体化病情，难以满足精准医疗需求。动态治疗方案（Dynamic Treatment Regimes, DTRs）可根据患者临床数据动态调整诊疗策略，是实现个性化医疗的关键技术。

强化学习（Reinforcement Learning, RL）作为处理序贯决策问题的核心方法，已被广泛应用于动态治疗方案的构建。其中，Q学习因其在生成高质量治疗动作序列方面的卓越表现而备受关注，但现有算法也普遍存在短板：传统线性Q学习建模能力有限，无法适配复杂诊疗场景；树模型Q学习难以处理连续状态的医疗决策；深度Q学习虽拟合能力强，但面对海量病历数据算力开销大、可扩展性差，且缺乏严格理论保障。医疗决策容错率极低，亟需一套兼顾理论严谨、算力高效、安全稳定的智能决策算法。

针对行业难题，研究团队原创提出了一种基于核岭回归分布式Q学习算法（DKRR-DTR），从方法论、理论分析和数值验证三方面实现系统性创新。

方法论层面，团队将复杂Q学习任务拆解为T个最小二乘回归子问题，采用“分而治之”思路，融合分布式学习与核岭回归技术，大幅降低传统核方法的计算复杂度，在提升运算效率的同时，保留了与集中式核方法相当的泛化性能。

图1. Q学习的训练与决策流程

图2. DKRR-DTR的训练与决策流程

理论层面，团队提出了一种全新的积分算子方法分析Q学习的泛化误差，严格证明在数据子集数量不过多的条件下，分布式学习不会增加泛化误差。该算法误差界与临床特征维度无关，可高效适配高维医疗数据，相较传统算法收敛速度更快、适用条件更宽松，理论可靠性显著提升。

数值验证层面，团队依托非小细胞肺癌多线治疗、固定周期性化疗两大临床场景开展模拟验证，实验将所提算法与线性Q学习、树模型 Q学习、深度Q网络、策略梯度方法及基于模型的策略优化方法等十余种主流方法进行了全面对比，充分验证新算法的先进性与实用性。

实验结果显示，DKRR-DTR算法实现了性能全方位提升，具备显著的临床应用优势。

算力与精度兼顾，适配大数据场景。该算法训练效率实现数量级提升，在两类癌症诊疗实验中均保持最优或接近最优水准的决策精度，可高效处理大规模电子健康病历数据，完美适配医疗大数据分析场景。

安全稳定可落地，贴合医疗规范。区别于需实时交互试错的算法（如PG、AC、PPO），该算法可完全基于历史离线数据训练，无需干预真实诊疗过程，从源头规避医疗风险。同时算法具备解析最优解，解决了深度学习模型训练不稳定、可解释性弱的行业痛点。

对比测试表明，分布式深度学习算法虽可提速，但仍比较耗时且精度有所损耗，而DKRR-DTR成功实现训练效率与决策质量的最优平衡，综合竞争力突出。

本次研究成果兼具理论创新与工程实用性，为慢性病精准智能诊疗提供了全新高效的技术工具。

在医疗大数据处理层面，新算法框架适配医院信息系统、区域医疗数据中心等多类平台，可通过并行计算快速处理海量医疗数据，破解医疗大数据算力不足、落地困难的问题。

在临床决策支持层面，成果可嵌入临床决策支持系统，辅助医生制定个体化、阶段性慢性病诊疗方案。依托离线训练、安全可控、理论可靠的优势，可在保障患者隐私与诊疗安全的前提下部署应用，为慢性病精准管理和智慧医疗升级提供有力技术支撑。

原文链接：

https://pubsonline.informs.org/doi/abs/10.1287/ijoc.2025.1183