构建基于“无标注”眼底全景视网膜图像深度学习模型预测糖尿病肾病

doi:10.3969/j.issn.1006-5725.2025.22.019

摘要/Abstract

摘要：

目的探讨基于“无标注”早期眼底病变的全景视网膜图像深度学习（deep learning，DL）模型对糖尿病肾病（DKD）预测的可行性，并评估不同双眼融合策略的增效作用。方法回顾性收集2022年12月至2024年3月在扬州大学附属江都人民医院内分泌科住院的353例2型糖尿病（T2DM）患者的眼底视网膜图像及临床资料。根据是否有DKD，分为DKD组（114例）和糖尿病无肾病（NDKD）组（239例）。首先，基于“U型网络”（UNet）的预训练自动勾画眼底全景视网膜图像模型，并应用此“自动勾画模型”批量处理所有患者眼底全景视网膜图像。然后，按五折交叉验证（70%：30%），基于ResNet152分别构建左、右眼DL模型。并采取不同融合策略整合双眼信息构建融合模型，包括双眼结果融合、双眼特征融合、双眼图像融合模型。最后，采用受试者工作特征（ROC）曲线的曲线下面积（AUC）对模型进行评估。通过DeLong检验比较各模型之间AUC值的差异，采用净重新分类指数（NRI）和决策曲线分析（DCA）评估不同模型之间的优越性。结果本研究共构建6个预测模型：临床参数模型、左眼底模型、右眼底模型、双眼图像融合模型、双眼结果融合模型和双眼特征融合模型。在训练集和验证集中，基于Transformer的双眼特征融合模型AUC最高（分别为0.864和0.658）。DeLong检验显示，在训练集中，双眼特征融合模型AUC值显著高于其余5个模型（均P < 0.001）；在验证集中，各模型AUC值之间差异无统计学意义（均P > 0.05）。NRI显示，在训练集和验证集中，与双眼特征融合模型比较，其余5个模型NRI（分别为-0.255、-0.244、-0.289、-0.426、-0.163和-0.060、-0.016、-0.028、-0.105、-0.033）均为负值，显示基于Transformer的双眼特征融合模型预测DKD性能最优。DCA显示，双眼特征融合模型净获益大于其余5个模型。结论基于“无标注”早期眼底病变的全景视网膜图像构建的DL模型可预测DKD。而基于Transformer融合策略性能最优，为未来进一步优化开发预测DKD工具，提供了一种新的思路。

关键词: 2型糖尿病, 糖尿病肾病, 卷积神经网络, 融合, 深度学习

Abstract:

Objective To explore the feasibility of a deep learning model based on early fundus lesions without manual segmentation in pan-retinal images for predicting diabetic kidney disease （DKD） and evaluating the enhancing effects of different binocular fusion strategies. Methods A retrospective cohort of 353 patients with type 2 diabetes mellitus （T2DM） admitted to the Endocrinology Department of Jiangdu People′s Hospital Affiliated to Yangzhou University between December 2022 and March 2024 was analyzed. Patients were divided into DKD （n = 114） and non-diabetic kidney disease （NDKD）（n = 239） group based on the presence of DKD. First， a U-Net-based pre-trained automatic segmentation model was developed to process panoramic fundus retinal images. Subsequently， left and right eye deep learning models were constructed using ResNet152 under a five-fold cross-validation framework （70% training， 30% validation）. Three binocular fusion strategies were implemented： result fusion， feature fusion， and image fusion models. Model performance was evaluated using the area under the receiver operating characteristic （ROC） curve （AUC）. DeLong test was used to compare AUC differences among models， while net reclassification index （NRI） and decision curve analysis （DCA） were used to assess clinical utility. Results Six prediction models were developed： clinical parameter model， left fundus model， right fundus model， binocular image fusion model， binocular result fusion model， and binocular feature fusion model. The Transformer-based binocular feature fusion model achieved the highest AUC in both training and validation sets （0.864 and 0.658， respectively）. DeLong tests revealed significant AUC superiority of the Transformer model over the other five models in the training set （all P < 0.001）， though no significant differences were observed in the validation set （all P > 0.05）. NRI analysis showed negative values for all comparisons with the Transformer model （training set： -0.255， -0.244， -0.289， -0.426， -0.163； validation set： -0.060， -0.016， -0.028， -0.105， -0.033， respectively）， indicating its optimal predictive performance. DCA further demonstrated greater net benefit for the Transformer-based fusion model. Conclusions The deep learning model constructed using early fundus lesions without manual segmentation in pan-retinal images can predict DKD. The Transformer-based fusion strategy present the best performance， providing a novel approach for further optimization and development of tools to predict DKD in the future.

Key words: type 2 diabetes mellitus, diabetic kidney disease, convolutional neural network, fusion, deep learning

中图分类号:

R774.1

朱丹,卢万俊,朱颖,曹金璐,陈英姿. 构建基于“无标注”眼底全景视网膜图像深度学习模型预测糖尿病肾病[J]. 实用医学杂志, 2025, 41(22): 3598-3608.

Dan ZHU,Wanjun LU,Ying ZHU,Jinlu CAO,Yingzi CHEN. Developing an unsupervised deep learning model for diabetic nephropathy prediction using panoramic fundus retinal images[J]. The Journal of Practical Medicine, 2025, 41(22): 3598-3608.

图/表 11

图1

表1

训练集与验证集基线临床特征 (M［（P25，P75）］)"

项目	训练集		t/Z/χ2值	P值	验证集		t/Z/χ2值	P值
项目	NDKD组	DKD组	t/Z/χ2值	P值	NDKD组	DKD组	t/Z/χ2值	P值
例数	167	80			72	34
年龄/岁	57.00（53.00，64.00）	60.05（56.00，69.00）	-2.994	0.003	60.08 ± 10.79^*	61.82 ± 11.59^*	-0.757	0.451
性别/［例（%）］			0.095	0.758			0.027	0.868
男	80（47.9）	40（50.0）			33（45.8）	15（44.1）
女	87（52.1）	40（50.0）			39（54.2）	19（55.9）
糖尿病病程/年	10（6.00，17.00）	12（8.25，20.00）	-2.282	0.022	10（6.25，15.00）	12（6.75，20.00）	-1.305	0.192
BMI/（kg/m2）	23.78（21.63，25.40）	23.59（22.20，25.67）	-0.249	0.803	23.79（21.39，25.15）	25.25（22.97，28.15）	-2.670	0.008
BF/%	29.19（24.03，36.13）	30.34（24.45，37.41）	-0.939	0.348	28.46 ± 10.81^*	33.33 ± 8.65^*	-2.295	0.024
吸烟史（有）/［例（%）］	26（15.6）	38（47.5）	28.728	0.000	14（19.4）	18（52.9）	12.295	< 0.001
高血压病史（有）/［例（%）］	80（47.9）	56（70.0）	10.672	0.001	33（45.8）	21（61.8）	2.345	0.126
冠心病病史（有）/［例（%）］	34（20.4）	26（32.5）	4.335	0.037	16（22.2）	13（38.2）	2.980	0.084
主动脉弓钙化（有）/［例（%）］	78（46.7）	46（57.5）	2.521	0.112	33（45.8）	19（55.9）	0.933	0.334
冠状动脉钙化（有）/［例（%）］	68（40.7）	40（50.0）	1.894	0.169	26（36.1）	16（47.1）	1.157	0.282
糖尿病周围神经病变（有） /［例（%）］	66（39.5）	33（41.3）	0.067	0.795	44（61.1）	13（38.2）	4.862	0.027
糖化血红蛋白 /%	9.70（8.40，11.00）	9.70（8.00，11.00）	-0.469	0.639	9.83 ± 1.78^*	9.63 ± 2.72^*	0.451	0.653
尿酸/（mg/dL）	281.90（229.60，329.90）	340.85（278.53，401.33）	-4.702	0.000	261.5（207.93，335.25）	305.75（259.78，382.40）	-2.156	0.031
总胆红素/（mg/dL）	9.90（7.30，12.80）	8.75（5.20，11.75）	-2.180	0.029	9.20（6.90，11.98）	8.75（6.45，15.80）	-0.108	0.914
直接胆红素/（mg/dL）	4.00（3.10，4.80）	3.90（2.43，4.60）	-2.060	0.039	3.80（2.93，4.48）	4.00（3.05，5.30）	-0.928	0.353
总胆汁酸/（μmol/L）	3.25（2.69，4.07）	3.25（2.63，3.92）	-0.354	0.723	3.45（2.85.4.23）	3.74（2.74，4.52）	-0.798	0.430
白细胞计数/（10⁹·L ^-¹）	6.15（5.21，7.38）	6.68（5.44，7.70）	-1.336	0.182	6.45（5.57，7.54）	6.11（5.19，7.92）	-0.690	0.490
血红蛋白/（g/dL）	137.00（126.00，147.00）	131.00（115.25，139.50）	-3.165	0.002	135.50（122.76，146.50）	132.35（119.50，140.00）	-1.107	0.268
中性粒细胞计数/（10⁹·L ^-¹）	3.89（3.08，4.92）	4.29（3.23，5.37）	-1.400	0.162	4.23（3.27，5.14）	3.82（2.90，5.74）	-0.042	0.675
淋巴细胞计数（x ± s）/（10⁹·L ^-¹）	1.64 ± 0.61	1.63 ± 0.69	0.061	0.951	1.67（1.27，2.10）	1.50（1.12，1.84）	-1.570	0.116
中性粒细胞/淋巴细胞比值	2.43（1.75，3.55）	2.65（1.97，4.15）	-1.358	0.174	2.31（1.70，3.49）	2.51（1.80，4.44）	-0.745	0.457
总胆固醇/（mg/dL）	4.15（3.62，4，79）	4.23（3.74，5.10）	-1.071	0.284	4.43（3.59，5.13）	4.64（4.05，5.19）	-0.755	0.450
甘油三酯/（mg/dL）	1.43（1.04，2.04）	1.74（1.08，2.22）	-1.285	0.199	1.36（0.86，2.14）	1.99（1.08，3.25）	-2.342	0.019
低密度脂蛋白/（mg/dL）	2.27（1.79，2.81）	2.40（1.85，3.04）	-0.914	0.361	2.42（1.91，3.08）	2.46（1.81，3.19）	-0.203	0.839
高密度脂蛋白/（mg/dL）	1.18（1.04，1.33）	1.19（1.01，1.37）	-0.088	0.930	1.24（1.08，1.47）	1.26（1.03，1.46）	-0.328	0.743
LDL/HDL比值	1.92（1.42，2.46）	1.94（1.46，2.50）	-0.482	0.629	1.92（1.51，2.70）	1.89（1.30，2.32）	-0.647	0.518

表1

图2

图3

图4

图5

表2

图6

图7

图8

图9

参考文献 38

[1]	Disease Kidney ： Improving Global Outcomes （KDIGO） Diabetes Work Group. KDIGO 2022 clinical practice guideline for diabetes management in chronic kidney disease［J］. Kidney Int， 2022， 102（5S）： S1-S127.
[2]	SUN H， SAEEDI P， KARURANGA S， et al. IDF Diabetes Atlas： Global， regional and country-level diabetes prevalence estimates for 2021 and projections for 2045［J］. Diabetes Res Clin Pract， 2022， 183：109119. doi:10.1016/j.diabres.2023.110945 doi: 10.1016/j.diabres.2023.110945
[3]	莫泽纬，陈道雄，高勇义，等. 艾塞那肽治疗早期糖尿病肾病患者的疗效研究［J］. 中国热带医学，2017，17（7）：714-717.
[4]	ROSSING P， GROOP P H， SINGH R， et al. Prevalence of chronic kidney disease in type 1 diabetes among adults in the U.S［J］. Diabetes Care， 2024， 47（8）： 1395-1399. doi:10.2337/dc24-0335 doi: 10.2337/dc24-0335
[5]	SABANAYAGAM C， XU D， TING D S W， et al. A deep learning algorithm to detect chronic kidney disease from retinal photographs in community-based populations［J］. Lancet Digit Health， 2020， 2（6）： e295-e302. doi:10.1016/s2589-7500(20)30063-7 doi: 10.1016/s2589-7500(20)30063-7
[6]	CHEN J， ZHANG Q， LIU D， et al. Exosomes： Advances， development and potential therapeutic strategies in diabetic nephropathy［J］. Metabolism， 2021， 122：154834. doi:10.1016/j.metabol.2021.154834 doi: 10.1016/j.metabol.2021.154834
[7]	SUN Z， WANG K， MILLER J D， et al. External validation of the risk prediction model for early diabetic kidney disease in Taiwan population： A retrospective cohort study［J］. BMJ Open， 2022，12（12）：e059139. doi:10.1136/bmjopen-2021-059139 doi: 10.1136/bmjopen-2021-059139
[8]	LIU X Z， DUAN M， HUANG H D， et al. Predicting diabetic kidney disease for type 2 diabetes mellitus by machine learning in the real world： A multicenter retrospective study［J］. Front Endocrinol （Lausanne）， 2023， 14： 1184190. doi:10.3389/fendo.2023.1184190 doi: 10.3389/fendo.2023.1184190
[9]	LI Y， JIN N， ZHAN Q， et al. Machine learning-based risk predictive models for diabetic kidney disease in type 2 diabetes mellitus patients： A systematic review and meta-analysis［J］. Front Endocrinol （Lausanne）， 2025， 16： 1495306. doi:10.3389/fendo.2025.1495306 doi: 10.3389/fendo.2025.1495306
[10]	BERMEJO S， GONZÁLEZ E， LÓPEZ-REVUELTA K， et al. The coexistence of diabetic retinopathy and diabetic nephropathy is associated with worse kidney outcomes［J］. Clin Kidney J， 2023， 16（10）： 1656-1663. doi:10.1093/ckj/sfad142 doi: 10.1093/ckj/sfad142
[11]	LEE G W， LEE C H， KIM S G. Association of advanced chronic kidney disease with diabetic retinopathy severity in older patients with diabetes： A retrospective cross-sectional study［J］. J Yeungnam Med Sci， 2023， 40（2）： 146-155. doi:10.12701/jyms.2022.00206 doi: 10.12701/jyms.2022.00206
[12]	ZHAO X， LIU Y， ZHANG W， et al. Relationships between retinal vascular characteristics and renal function in patients with type 2 diabetes mellitus［J］. Transl Vis Sci Technol， 2021，10（2）：1-11. doi:10.1167/tvst.10.2.20 doi: 10.1167/tvst.10.2.20
[13]	YAN Y， YU L， SUN C， et al. Retinal microvascular changes in diabetic patients with diabetic nephropathy［J］. BMC Endocr Disord， 2023， 23（1）：101. doi:10.1186/s12902-022-01250-w doi: 10.1186/s12902-022-01250-w
[14]	ALJEFRI S， ADEL F AL. The validity of diabetic retinopathy screening using nonmydriatic fundus camera and optical coherence tomography in comparison to clinical examination［J］. Saudi J Ophthalmol， 2021， 34（4）：266-272. doi:10.4103/1319-4534.322617 doi: 10.4103/1319-4534.322617
[15]	IRODI A， ZHU Z， GRZYBOWSKI A， et al. The evolution of diabetic retinopathy screening［J］. Eye （Lond）， 2025， 39（6）：1040-1046. doi:10.1038/s41433-025-03633-4 doi: 10.1038/s41433-025-03633-4
[16]	MESSICA S， PRESIL D， HOCH Y， et al. Enhancing stroke risk and prognostic timeframe assessment with deep learning and a broad range of retinal biomarkers［J］. Artif Intell Med， 2024， 154：102927. doi:10.1016/j.artmed.2024.102927 doi: 10.1016/j.artmed.2024.102927
[17]	WHITE T， SELVARAJAH V， WOLFHAGEN-SAND F， et al. Prediction of cardiovascular risk factors from retinal fundus photographs： Validation of a deep learning algorithm in a prospective non-interventional study in Kenya［J］. Diabetes Obes Metab， 2024， 26（7）：2722-2731.
[18]	何雪，马欢，李聪，等. 冠心病伴抑郁患者视网膜神经血管特征及其与抑郁严重程度的相关性［J］. 实用医学杂志，2025，41（4）：515-521.
[19]	ZHANG K， LIU X， XU J， et al. Deep-learning models for the detection and incidence prediction of chronic kidney disease and type 2 diabetes from retinal fundus images［J］. Nat Biomed Eng， 2021， 5（6）：533-545. doi:10.1038/s41551-021-00745-6 doi: 10.1038/s41551-021-00745-6
[20]	BETZLER B K， CHEE E Y L， HE F， et al. Deep learning algorithms to detect diabetic kidney disease from retinal photographs in multiethnic populations with diabetes［J］. J Am Med Inform Assoc， 2023， 30（12）：1904-1914. doi:10.1093/jamia/ocad179 doi: 10.1093/jamia/ocad179
[21]	MENG Z， GUAN Z， YU S， et al. Non-invasive biopsy diagnosis of diabetic kidney disease via deep learning applied to retinal images： A population-based study［J］. Lancet Digit Health， 2025， 7（5）：100868. doi:10.1016/j.landig.2025.02.008 doi: 10.1016/j.landig.2025.02.008
[22]	DONG Z， WANG X， PAN S， et al. A multimodal transformer system for noninvasive diabetic nephropathy diagnosis via retinal imaging［J］. NPJ Digit Med， 2025， 8（1）：50. doi:10.1038/s41746-024-01393-1 doi: 10.1038/s41746-024-01393-1
[23]	AMIRHAMZAH N A， WANZAKI W M D， WANABDULHALIM W H， et al. Evaluating the potential of retinal photography in chronic kidney disease detection： A review［J］. PeerJ， 2024， 12：e17786. doi:10.7717/peerj.17786 doi: 10.7717/peerj.17786
[24]	SONG J， ZHENG J， LI P， et al. An Effective Multimodal Image Fusion Method Using MRI and PET for Alzheimer's Disease Diagnosis［J］. Front Digit Health， 2021， 3：637386. doi:10.3389/fdgth.2021.637386 doi: 10.3389/fdgth.2021.637386
[25]	DE BOER I H， KHUNTI K， SADUSKY T， et.al. Diabetes management in chronic kidney disease： A consensus report by the American Diabetes Association （ADA） and Kidney Disease： Improving Global Outcomes （KDIGO）［J］. Kidney Int， 2022， 102（5）：974-989. doi:10.1016/j.kint.2022.08.012 doi: 10.1016/j.kint.2022.08.012
[26]	COLCOMBE J， SOLLI E， KAISER A， et al. The Use of Retinal Imaging Including Fundoscopy， OCT， and OCTA for Cardiovascular Risk Stratification and the Detection of Subclinical Atherosclerosis［J］. Curr Atheroscler Rep， 2025， 27（1）：23. doi:10.1007/s11883-024-01268-6 doi: 10.1007/s11883-024-01268-6
[27]	LEE S J V， GOH Y Q， ROJAS-CARABALI W， et al. Association between retinal vessels caliber and systemic health： A comprehensive review［J］. Surv Ophthalmol， 2025， 70（2）：184-199. doi:10.1016/j.survophthal.2024.11.009 doi: 10.1016/j.survophthal.2024.11.009
[28]	张锐，周颖，倪文吉，等. 人工智能视网膜微血管分析在糖尿病并发症中的应用价值［J］. 实用医学杂志，2024，40（8）：1142-1147.
[29]	BAKER J， SAFARZADEH M A， INCOGNITO A V，et al. Functional optical coherence tomography at altitude： Retinal microvascular perfusion and retinal thickness at 3，800 meters［J］. J Appl Physiol （1985）， 2022， 133（3）： 534-545. doi:10.1152/japplphysiol.00132.2022 doi: 10.1152/japplphysiol.00132.2022
[30]	EL-HAG N A， SEDIK A， EL-SHAFAI W， et al. Classification of retinal images based on convolutional neural network［J］. Microsc Res Tech， 2021， 84（3）： 394-414. doi:10.1002/jemt.23596 doi: 10.1002/jemt.23596
[31]	MUKHERJEE N， SENGUPTA S. Application of deep learning approaches for classification of diabetic retinopathy stages from fundus retinal images： A survey［J］. Multimed Tools Appl， 2024， 83（14）： 43115-43175. doi:10.1007/s11042-023-17254-0 doi: 10.1007/s11042-023-17254-0
[32]	ERGUN O N， ILHAN H O. Advancing Diabetic Retinopathy Severity Classification Through Stacked Generalization in Ensemble Deep Learning Models［J］. Traitement du Signal， 2023， 40（6）： 2495. doi:10.18280/ts.400614 doi: 10.18280/ts.400614
[33]	BALA R， SHARMA A， GOEL N. CTNet： Convolutional transformer network for diabetic retinopathy classification［J］. Neural Comput Appl， 2024， 36（9）： 4787-4809. doi:10.1007/s00521-023-09304-3 doi: 10.1007/s00521-023-09304-3
[34]	LIU C， WANG W， LIAN J， et al. Lesion classification and diabetic retinopathy grading by integrating softmax and pooling operators into vision transformer［J］. Front Public Health， 2025， 12： 1442114. doi:10.3389/fpubh.2024.1442114 doi: 10.3389/fpubh.2024.1442114
[35]	REZAEE K， FARNAMI F. Innovative Approach for Diabetic Retinopathy Severity Classification： An AI-Powered Tool using CNN-Transformer Fusion［J］. J Biomed Phys Eng， 2025， 15（2）： 137-158. doi:10.31661/jbpe.v0i0.2408-1811 doi: 10.31661/jbpe.v0i0.2408-1811
[36]	MAHMOOD M A， JAMEL L， ALTURKI N， et al. Leveraging artificial intelligence for diagnosis of children autism through facial expressions［J］. Sci Rep， 2025， 15（1）： 11945. doi:10.1038/s41598-025-96014-6 doi: 10.1038/s41598-025-96014-6
[37]	MORANO J， ARESTA G， GRECHENIG C， et al. Deep Multimodal Fusion of Data With Heterogeneous Dimensionality via Projective Networks［J］. IEEE J Biomed Health Inform， 2024， 28（4）： 2235-2246. doi:10.1109/jbhi.2024.3352970 doi: 10.1109/jbhi.2024.3352970
[38]	LIU Y， MU F， SHI Y， et al. Brain tumor segmentation in multimodal MRI via pixel-level and feature-level image fusion［J］. Front Neurosci， 2022， 16： 1000587. doi:10.3389/fnins.2022.1000587 doi: 10.3389/fnins.2022.1000587

队列	模型算法	模型名称	准确度	AUC（95%CI）	敏感度	特异度
训练集	SVM	临床参数模型	0.725	0.677（0.602 ~ 0.752）	0.512	0.626
	ResNet152	左眼底模型	0.640	0.698（0.630 ~ 0.767）	0.705	0.575
		右眼底模型	0.636	0.677（0.606 ~ 0.749）	0.700	0.605
		双通道图像融合模型	0.534	0.596（0.523 ~ 0.669）	0.725	0.443
	ResNet152 + Ensemble	双眼结果融合模型	0.721	0.741（0.674 ~ 0.808）	0.700	0.731
	ResNet152 + Transformer	双眼特征融合模型	0.818	0.864（0.817 ~ 0.911）	0.737	0.856
验证集	SVM	临床参数模型	0.689	0.562（0.434 ~ 0.689）	0.382	0.633
	ResNet152	左眼底模型	0.698	0.616（0.497 ~ 0.736）	0.500	0.692
		右眼底模型	0.594	0.598（0.481 ~ 0.716）	0.706	0.542
		双通道图像融合模型	0.679	0.541（0.415 ~ 0.667）	0.324	0.647
	ResNet152 + Ensemble	双眼结果融合模型	0.689	0.632（0.514 ~ 0.750）	0.559	0.750
	ResNet152 + Transformer	双眼特征融合模型	0.713	0.658（0.547 ~ 0.768）	0.706	0.769