《JNIS（中文版）》是神经介入专科影响力最高的国际期刊Journal of NeuroInterventional Surgery 《JNIS》（IF 8.572）的官方中文期刊，由中国医师协会神经介入专业委员会（CFITN）联合新媒体平台「卒中视界」与《JNIS》出版方BMJ中国版权合作，于2019年4月正式发布。旨在以中文语言为我国神经介入领域医务工作者提供JNIS原版学术进展，并将更多国内优秀神经介入成果介绍给国际学界。打开一扇窗，架起一座桥。中文版编委会由176名国内顶级医学专家组成，每期《JNIS（中文版）》内容由编委精选和精译，并结合专家个人经验撰写专家评论以飨同道。
本期译者：王红平
本期点评人：徐翔教授
急性基底动脉闭塞症（ABAO）是一种罕见而严重的神经系统疾病。根据最近研究，即使是接受血管内治疗（EVT）后，ABAO患者90天的总死亡率达到40%，而前循环大血管闭塞患者的死亡率低于20%。在EVT后预后不良ABAO病例中，死亡占近三分之二。很少有研究关于预测接受EVT的ABAO患者的死亡率。该研究利用机器学习算法开发一种针对接受EVT的ABAO患者的死亡率预测系统。
摘要
背景
使用血管内治疗（EVT）前患者的相关因素预测脑卒中患者的死亡率是支持临床决策的重要组成部分。急性基底动脉闭塞（ABAO）用EVT后死亡率已达到40%，但很少有研究预测这些个体的死亡率。因此，我们根据接受EVT的ABAO患者的术前信息开发和验证基于机器学习的死亡率预测模型。
方法
BASILAR登记的中国南方省份的患者。该模型（阳性：预测基底动脉闭塞患者EVT治疗的死亡率）使用五重交叉验证方法进行训练和优化，其中选择并微调了超参数。该模型在中国北方省份BASILAR登记的患者中进行了回顾性试验。2020年1月至2022年6月，对来自两家医院的患者进行了前瞻性阳性检测。
结果
采用极值梯度提升构建的POSITIVE模型在8种机器学习算法中具有最佳的预测性能，具有良好的判别（曲线下面积(area under curve, AUC) 0.83, 95%置信区间（95%CI）0.80~0.87）和校正(Hosmer—Lemeshow test, 95%CI 0.80~0.87)。P>0.05）。在回顾性检验中，POSITIVE 模型获得的AUC为0.79(95%CI 0.71~0.85)，高于传统模型。前瞻性比较显示，在所有预测模型中，POSITIVE模型获得了最高的AUC(0.82, 95%CI 0.74-0.90)。
结论
开发一种机器学习算法和多中心队列的回顾性和前瞻性测试，显示了可靠的预测性能，可以作为指导ABAO患者决策的方便参考。
引言
急性基底动脉闭塞症（Acute Basilar Artery Occlusion, ABAO）是一种罕见而严重的神经系统疾病。根据最近研究，即使是接受血管内治疗（EVT）后，ABAO患者90天的总死亡率达到40%，而前循环大血管闭塞患者的死亡率低于20%。在EVT后预后不良ABAO病例中，死亡占近三分之二。ABAO的过高死亡率强调了在根据入院时获得的相关因素决定是否接受EVT或退出最大限度治疗时，预测死亡风险的重要性。在与患者家属沟通时，也强调了死亡的可能性。很少有研究关于预测接受EVT的ABAO患者的死亡率。在过去十年，一些预后评分系统，如匹兹堡血管内治疗反应（Pittsburgh response to endovascular therapy, PRE）评分，休斯敦动脉内血管再通治疗2（Houston Intra-Arterial Recanalization Therapy, HIAT2）评分，以及血管事件总体健康风险（Totaled Health Risks in Vascular Events, THRIVE）评分，已经被开发用于预测中风患者的预后。然而，由于这些评分系统仅针对前循环卒中建立，它们在预测ABAO死亡率中的作用仍不清楚。最近，发现预测缺血性卒中早期死亡率（Predicting Early Mortality of Ischemic Stroke, PREMISE）评分可以预测所有脑卒中患者的死亡率。在用于构建PREMISE系统的样本中，接受机械再通的比例相对较小，这增加了接受EVT的ABAO患者的预测价值不确定性。
从技术上讲，这些先前的预测模型是通过选择预后变量、缩放这些因素并将它们相加得出分数的逻辑回归算法构建的。这种方法是基于变量和结果的对数概率之间的线性关系的假设而开发的；然而，参数之间潜在的共线性可能会影响这些模型的预测性能。相比之下，基于机器学习算法的模型可以通过超参数正则化限制共线性，而不需要线性假设，并因其在各个医学领域的优越预测性能而逐渐取代传统的评分系统。最近的两项研究也表明，机器学习模型，如随机森林和支持向量机，在预测前循环脑卒中患者的预后方面比以前报道的评分方法更准确。但是，由于ABAO的发生率相对较低，这些患者没有被纳入上述两种机器学习模型。此外，这两种机器学习算法没有提供例程供利用。
鉴于ABAO患者的高死亡率风险，在临床实践中迫切需要找到适合EVT的患者，以及在构建前期结局预测模型时未包括ABAO患者，本研究旨在利用机器学习算法开发一种针对接受EVT的ABAO患者的死亡率预测系统。此外，我们的目标是在多中心队列中验证该模型，并前瞻性地将其性能与之前的预后工具进行比较。
方法
研究设计和研究对象
验证和回顾性试验队列的患者是从我们组先前开发的BASILAR登记处招募的。BASILAR是2014年1月至2019年5月间，对中国47个综合性卒中中心通过急性症状和影像学确诊为ABAO的患者进行EVT加医疗管理与单独医疗管理的全国性前瞻性注册。研究方案和患者纳入标准的细节已在之前发表。在BASILAR登记的接受EVT的患者中，补充表1中预测因子信息或以前评分模型中因素（包括PRE、HIAT2、THRIVE、SPAN—100、PREMISE和PRACTICE）被纳入当前研究。因此，来自华南地区医院的医院共纳入480例患者（75.35%）的推导队列，在中国北方10个省份的医疗中心共纳入157例患者（24.65%）的回顾性试验队列。除BASILAR登记的患者外，2020年1月至2022年6月期间在两家医院（新桥医院和延安医院）接受EVT治疗的105例ABAO患者符合BASILAR登记的纳入和排除标准，且未遗漏先前模型中项目的信息。作为一个前瞻性的测试群体。补充图1显示了如何从推导性、回顾性和前瞻性试验队列中收集样本。本研究由各参与中心的研究委员会批准，并获得所有患者或其授权代表的知情同意。主要功能指标为90天总死亡率。
补充表1 The included predictors and literatures supporting the inclusion of variables
补充图1 Study flowchart (A) and process of data analysis (B) of current study.
程序和数据收集
除入院时的CT/MRI图像外，还收集了基线特征的数据：年龄、性别、血管危险因素（如糖尿病和高血压）、入院时的卒中量表（NIHSS）评分、后循环-Alberta卒中项目早期CT评分（PC-ASPECTS）。采用后循环侧支（PC-CS）评分评估侧支循环状态。一个对临床结果不知情的独立核心成像实验室评估了所有数字减影血管造影和成像数据。
采用标准统计方法与传统标度系统的预测模型
HIAT2评分，THRIVE评分，PRE评分，PREMISE，用MT（PRACTICE）评分预测AIS患者90天死亡率，是按照前面的描述计算的。使用PC-CS水平评估这些模型中的侧支循环状态。
机器学习模型构建
通过系统的文献检索和专家建议，我们确定了模型中包含的潜在变量，然后由4名高级神经介入医生组成的专家小组进行了审查。经过两轮讨论，达成了共识，最终列出了12个候选变量。补充表1中列出了支持纳入这些变量的预测因子和文献。
模型选择
基于R’caret’包（https://CRAN.R-project.org/package=caret），随机选择发展队列中五分之四的患者纳入训练集，其余的个体被分配到内部验证集。典型的机器学习算法包括logistic回归、线性支持向量机（LSVM）、径向基和函数（RBF SVM）、神经网络、极端梯度提升（XGBOOST）、自适应增强（AdaBOOST）、最近邻和随机森林。对这些模型进行了50次训练，并使用内部验证集对其辨别性能进行了评估。在所有模型中，XGBOOST在内部验证组的平均性能最好，并用于进一步优化（图1 A）。
图1 Selection of machine learning algorithms and performance metrics of models in the development cohort.
模型构建
开发队列随机分为五个大小相等的折叠R‘caret’包。其中，4倍组被纳入训练组，1倍组被纳入验证组。然后我们建立一个网格，在训练集中搜索应用到算法的参数组合，并评估第五次折叠（hold-out）的解决方案的性能。该程序重复了100次，并根据这些折叠的100多个应用的最大AUC选择了最优参数。通过使用所选的最优参数对整个开发集上重新训练XGBOOST算法，开发了预测经EVT治疗的基底动脉闭塞患者死亡率的最终模型（POSITIVE），这些参数在回顾性和前瞻性测试集中进一步评估。计算每个变量的Shapley值，以量化其与单个患者预后的相关性，所有患者的SHAP绝对值的平均值作为变量的SHAP值。
统计分析
连续变量用平均值±标准差表示，或用IQR表示中位数，这取决于它们的分布。分类变量的比例检验采用χ 2 检验。根据分布的正态性，使用独立样本的学生t检验和非正态数据的Mann-Whitney U检验或Kruskal-Wallis检验比较连续变量使用χ对分类变量进行比例检验2测试根据分布的正态性，对独立样本采用Student’s t检验，对非正态数据采用Mann-Whitney U检验或Kruskal-Wallis检验，对连续变量进行比较。
为了比较本研究中所有预测模型的判别性能，分析了受试者工作特征（ROC），并报告了并报告了曲线下面积（AUC），1000个自举偏差，修正了95%的曲线下面积（auc）置信区间（95%ci）。以ROC曲线中最优cut-off值计算预测模型的敏感性、特异性、准确性、阳性预测值（PPV）和阴性预测值（NPV）。Hosmer-Lemeshow (H-L)检验通过显示估计和观察到的死亡率风险之间的差异来评价模型校准。决策曲线分析（DCA）显示了在不同阈值下使用模型的净效益，以比较所有模型的总体效益。在推导队列和两个测试组中，应用AUC、DCA和H-L检验来评价这些模型的性能。将三个队列的患者分为不同的亚组，这些亚组具有不同的性别（男性或女性）、年龄阶段（≤60或>60岁）、脑梗死（mTICI）水平（0-2a或2b-3）、NIHSS状态（<20或≥20）、PC—CS等级（≤6或>6）。根据训练数据集中POSITIVE模型的最优cut-off值，我们将上述亚组患者分为高危组和低风险组，并利用Kaplan-Meier (K-M）曲线对其死亡率概率进行比较。采用双侧P值0.05作为差异有统计学意义的临界值。所有统计分析使用R软件版本4.0.3（https://www.r-project.org）执行。
结果
入组患者的基线特征
入组患者的特征见补充表2-4。在BASILAR登记的患者中，480例和157例EVT后的ABAO患者分别被纳入推导队列和回顾性试验队列。与生存90d患者相比，两组患者的年龄、入院时NIHSS基线评分、GCS评分均显著升高，而PC-CS、PC-ASPECTS评分均显著降低（P<0.05）。同样，死亡组和生存组在术前NIHSS、PC-ASPECTS、GCS和PC-CS评分之间也存在显著差异（P<0.05）。
补充表2 Clinical manifestation of patients in training cohort
补充表3 Clinical manifestation of patients in retrospective testing set.
补充表4 Clinical manifestation of patients in prospective test cohort
推导队列中的模型性能
POSITIVE模型在预测死亡率概率方面表现出色，其AUC为0.83 (95%CI 0.80-0.87)（图1B）。阳性模型的H-L检验（P>0.05）（补充图2A，补充表5）显示良好的模型校准，表明预测和观察到的死亡率概率之间的差异很小。如图1C所示，DCA显示POSITIVE模型的净收益高于其他模型，说明POSITIVE模型在大范围的概率阈值下具有更好的临床效果。根据ROC曲线，根据Youden指数定义了POSITIVE模型的最佳cut-off概率为0.51，从而使敏感性、特异性、PPV、NPV和准确性分别为0.83、0.68、0.75、0.77和0.76（补充表5）。基于POSITIVE模型的最佳临界值，将训练队列中的患者重新分类为高风险组和低风险组。根据K-M分析，高风险患者的总生存期明显短于低风险患者（P<0.001）（补充图3A）。图1D中的SHAP值显示了各特征对POSITIVE模型输出影响的分布情况。入院时PC-ASPECTS、NIHSS评分、起病mRS、总GCS、穿刺时间、收缩压（SBP）入院、PC-CS、年龄、糖尿病史和性别是该模型中最具预测性的10个特征。在这些特征中，入院时NIHSS评分、入院时SBP、年龄、糖尿病史、起病mRS和起病到穿刺时间与死亡率相关，而入院时PC-ASPECTS、PC-CS和GCS与90天生存率相关。补充图3B显示了不同模型之间的死亡率概率分布。在POSITIVE模型中，生存与死亡的区分概率有很大的范围，而其他模型估计的两者之间的差异相对较小。
补充图2 Calibration curves for the derivation (A), retrospective testing (B) and prospective testing cohorts (C).
补充表5 The performance of models in development cohort.
补充图3 Survival analysis of derived cohort.
回顾性试验队列模型的比较
BASILAR登记的来自中国北方的患者与中国南方的患者有着不同的生活习惯和气候，他们被纳入一个回顾性的队列。POSITIVE模型（0.79, 95%CI 0.71~0.85）的预测效果明显优于PRE模型（0.72, 95%CI 0.65~0.80）、HIAT2模型（0.59, 95%CI 0.50~0.67）、THRIVE模型（0.56, 95%CI 0.47~0.65）和SPAN-100模型（0.65, 95% CI 0.56~0.74）（图2A，阳性模型的H-L检验P值均大于0.05。由于POSITIVE模型的净收益超过任何其他模型，DCA（图2B）显示了POSITIVE模型在广泛的概率阈值范围内的更好的临床影响。K-M分析显示，高风险患者的总生存期明显短于低风险患者（P<0.001，图2C）。根据模型的死亡率概率分布如图2D所示。与训练组的结果一致，POSITIVE模型在很大的概率范围内区分死亡率和存活率，其差异比其他模型得到的差异大得多。
图2 Retrospective testing cohort.
前瞻性试验队列模型的比较
POSITIVE模型的AUC为0.82（95%CI 0.74-0.90），显著高于前瞻性队列中其他模型的AUC（图3A，补充表7）。DCA（图3B）表明，POSITIVE模型在较宽的概率阈值范围内的预测效果优于其他模型。K-M分析显示，低风险患者的总生存期显著延长（P<0.001）（图3C）。不同模型的死亡率分布如图3D所示。与测试组的结果一致，POSITIVE模型区分死亡和存活的概率范围很大。
图3 Prospective comparisons.
补充表7 The performance of models in prospective test cohort.
亚群分析
推导组K-M曲线按不同性别（男性vs女性，P<0.001）、年龄（≥60 vs <60，P<0.001）、发病至穿刺时间（<360min vs ≥360min，P<0.001）分层、PC-CS（≥6 vs <6，P<0.001）、基线NIHSS（≥20 vs <20，P<0.001）和PC-ASPECTS评分（>7 vs ≤7，P<0.001）显示了在开发组中根据POSITIVE模型估计的具有不同风险状态的患者的总生存时间存在巨大差异（补充图4）。补充图5和6显示，在回顾性和前瞻性试验组中，根据患者情况进行分层时，低风险患者的总生存时间较高，具有统计学意义。
补充图4 K-M curve for subgroups in derivation cohort.
补充图5 K-M curve for subgroups in retrospective test cohort.
补充图6 K-M curve for subgroups in prospective test cohort.
讨论
结论
在多中心队列中构建、验证和测试所提出的模型后，我们提出了第一个死亡率预测专为接受EVT的ABAO患者设计的模型。我们的模型表现出良好的性能，为以病人为中心的决策提供了方便的参考。
专家点评
该研究利用机器学习算法开发一种针对接受EVT的ABAO患者的死亡率预测系统。有助于自动化治疗ABAO的结果评价和临床决策过程。
然而，这项研究有几个局限性。首先，虽然该研究是在多中心队列中进行的，但由于ABAO在普通人群中的发病率较低，样本量相对较小。模型可能存在过度拟合。第二，本研究纳入的ABAO患者均来自中国登记处；不能保证该模型对其他国家人口的推广。
专家简介
JNIS中文版编委
徐翔
医学博士，主任医师， 唐山工人医院神经介入科主任。2007年博士毕业于天津医科大学。于2010年前往美国纽约州 Buffalo Milard Filmore Gates Hospital 做访问学者学习神经介入。河北医科大学硕士研究生导师，华北理工大学硕士研究生导师。中华医学会神经外科分会神经介入学组委员，中国医师协会神经介入委员会全国委员，中国医师协会神经外科分会神经介入全国专家委员会委员，河北省医学会神经外科分会神经介入学组组长，河北省医学会介入学会委员，河北省血管健康与技术学会理事，河北省血管健康与技术学会脑血管介入委员会副主任委员，唐山市医学会介入分会副主任委员。近年来发表 SCI 收录文章3篇，中华系类杂志文章4篇，国内核心期刊杂志文章8篇。获省科技进步3等奖1项，省卫生科技1等奖1项，承担省重点课题1项。
翻译者简介
王红平
河北医科大学附属唐山工人医院神经外科在读研究生。
版权信息
© Author(s) (or their employer(s)) 2023. No commercial re-use. See rights and permissions. Published by BMJ.
中国医师协会神经介入专业委员会及卒中视界由BMJ出版集团独家授权出版及发行JNIS中文版。如需转载，请联系strokesj@163.com。未经授权的翻译是侵权行为，版权方保留追究法律责任的权利。更多JNIS及中文版信息，请参见： JNIS及中文版信息
往期回顾：
郭百海教授导读：大面积缺血型卒中的半暗带挽救：探索再灌注治疗的极限
刘圣教授导读：AIS患者平扫CT脑动脉高密度征反映了不同的血栓蛋白质组成
黄理金教授导读：儿童脊髓动静脉短路的亚型、临床表现和治疗策略：单中心经验及荟萃分析
毛国华教授导读：血管内治疗前静脉溶栓对大核心脑梗死患者预后的影响
史树贵教授导读：补救性颅内永久支架治疗机械取栓术后的难治性闭塞：一项倾向匹配分析
觉得内容还不错，点个“在看”呗
