深度学习技术在超声心动图图像质量控制中的应用

doi:10.3969/j.issn.1006-5725.2024.01.019

摘要/Abstract

摘要：

目的探讨深度学习技术在超声心动图图像质量控制中应用的可行性和价值。方法选取四川省人民医院2015~2022年间收集的180 985张超声心动图图像建立实验数据集，训练了超声心动图标准切面图像质量评价方法所建立的两个任务模型，包括7类切面（6类标准切面和其他切面）的智能识别和6类标准切面的质量评分。将模型在测试集上的预测结果与超声医师标注结果进行比较，评估两个模型的准确性、可行性以及运行的时效性。结果标准切面识别模型的总体分类准确率为98.90%，精确度为98.17%，召回率为98.18%，F1值为98.17%，分类结果接近专家识别水平；6种标准切面质量评分模型的平均PLCC为0.933，平均SROCC为0.929，平均RMSE为7.95，平均MAE为4.83，预测结果与专家评分一致性强。在3090 GPU上部署后，单帧推理时间小于20毫秒，满足实时需求。结论超声心动图标准切面图像质量评价方法能够提供客观、准确的评价结果，促进超声心动图图像质量控制管理朝实时、客观、智能化方向发展。

关键词: 超声心动图, 深度学习, 质量控制, 切面识别, 质量评价

Abstract:

Objective To Explore the feasibility and value of deep learning technology for quality control of echocardiography images. Methods A total of 180985 echocardiography images collected from Sichuan Provincial People's Hospital between 2015 and 2022 were selected to establish the experimental dataset. Two task models of the echocardiography standard views quality assessment method were trained， including intelligent recognition of seven types of views （six standard views and other views） and quality scoring of six standard views. The predictions of the models on the test set were compared with the results of the sonographer's annotation to assess the accuracy， feasibility， and timeliness of the runs of the two models. Results The overall classification accuracy of the standard views recognition model was 98.90%， the precision was 98.17%， the recall was 98.18% and the F1 value was 98.17%， with the classification results close to the expert recognition level； the average PLCC of the six standard views quality scoring models was 0.933， the average SROCC was 0.929， the average RMSE was 7.95 and the average MAE was 4.83， and the prediction results were in strong agreement with the expert scores. The single-frame inference time after deployment on the 3090 GPU was less than 20 ms， meeting real-time requirements. Conclusion The echocardiography standard views quality assessment method can provide objective and accurate quality assessment results， promoting the development of echocardiography image quality control management towards real-time， objective， and intelligent.

Key words: echocardiography, deep learning, quality control, view recognition, quality assessment

中图分类号:

R445.1

李欣雨,吴洋,张红梅,尹立雪,彭博,谢盛华. 深度学习技术在超声心动图图像质量控制中的应用[J]. 实用医学杂志, 2024, 40(1): 108-113.

Xinyu LI,Yang WU,Hongmei ZHANG,Lixue YIN,Bo PENG,Shenghua. XIE. Deep learning technology for quality control of echocardiography images[J]. The Journal of Practical Medicine, 2024, 40(1): 108-113.

图/表 8

表1

图1

图2

图3

表2

图4

表3

图5

参考文献 20

1	ZHOU J， DU M， CHANG S， et al. Artificial intelligence in echocardiography： detection， functional evaluation， and disease diagnosis［J］. Cardiovasc Ultrasound， 2021， 19（1）： 1-11.
2	LIAO Z， GIRGIS H， ABDI A， et al. On modelling label uncertainty in deep neural networks： Automatic estimation of intra-observer variability in 2d echocardiography quality assessment［J］. IEEE Trans Med Imaging， 2020， 39（6）： 1868-1883.
3	JAFARI M H， GIRGIS H， VAN WOUDENBERG N， et al. Cardiac point-of-care to cart-based ultrasound translation using constrained CycleGAN［J］. Int J Comput Assist Radiol Surg， 2020， 15（5）： 877-886.
4	张勇，鲁晓，李昕，等. 超声医学图像及报告质量管理系统设计与应用［J］. 中国卫生质量管理， 2022， 29（4）： 73-76.
5	DONG J， LIU S， LIAO Y， et al. A generic quality control framework for fetal ultrasound cardiac four-chamber planes［J］. IEEE J Biomed Health Inform， 2020， 24（4）： 931-942.
6	ZAMZMI G， RAJARAMAN S， HSU L Y， et al. Real-time echocardiography image analysis and quantification of cardiac indices［J］. Med Image Anal， 2022， 80： 102438.
7	ZHANG J， GAJJALA S， AGRAWAL P， et al. Fully automated echocardiogram interpretation in clinical practice： feasibility and diagnostic accuracy［J］. Circulation， 2018， 138（16）： 1623-1635.
8	HUANG K C， HUANG C S， SU M Y， et al. Artificial intelligence aids cardiac image quality assessment for improving precision in strain measurements［J］. Cardiovasc Imaging， 2021， 14（2）： 335-345.
9	ABDI A H， LUONG C， TSANG T， et al. Automatic quality assessment of echocardiograms using convolutional neural networks： feasibility on the apical four-chamber view［J］. IEEE Trans Med Imaging， 2017， 36（6）： 1221-1230.
10	LUONG C， LIAO Z， ABDI A， et al. Automated estimation of echocardiogram image quality in hospitalized patients［J］. Int J Cardiovasc Imaging， 2021， 37： 229-239.
11	GAUDET J， WAECHTER J， MCLAUGHLIN K， et al. Focused critical care echocardiography： development and evaluation of an image acquisition assessment tool［J］. Crit Care Med， 2016， 44（6）： 329-335.
12	LI J， XIA X， LI W， et al. Next-vit： Next generation vision transformer for efficient deployment in realistic industrial scenarios［J］. arXiv e-prints， 2022. doi： 10.48550/arXiv.2207.05501 . doi: 10.48550/arXiv.2207.05501
13	CHOU P Y， LIN C H， KAO W C. A novel plug-in module for fine-grained visual classification［J］. arXiv e-prints， 2022. doi： 10.48550/arXiv.2202.03822 . doi: 10.48550/arXiv.2202.03822
14	KHOSLA P， TETERWAK P， WANG C， et al. Supervised contrastive learning［J］. Adv Neural Inf Process Syst， 2020， 33： 18661-18673.
15	YANG S， WU T， SHI S， et al. Maniqa： Multi-dimension attention network for no-reference image quality assessment［C］. IEEE Conference on Computer Vision and Pattern Recognition， 2022. doi： 10.48550/arXiv.2204.08958 . doi: 10.48550/arXiv.2204.08958
16	SHEN Y T， CHEN L， YUE W W， et al. Artificial intelligence in ultrasound［J］. Eur J Radiol， 2021， 139： 109717.
17	ZHANG Z， ZHU Y， LIU M， et al. Artificial Intelligence-Enhanced Echocardiography for Systolic Function Assessment［J］. J Clin Med， 2022， 11（10）： 2893.
18	罗刚，泮思林，乔思波，等. 深度学习技术在胎儿超声心动图图像自动识别中的应用［J］. 实用医学杂志， 2022， 38（14）： 1830-1833.
19	SEHLY A， JALTOTAGE B， HE A， et al. Artificial Intelligence in Echocardiography： The Time is Now［J］. Rev Cardiovasc Med， 2022， 23（8）： 256.
20	FERRAZ S， COIMBRA M， PEDROSA J. Assisted probe guidance in cardiac ultrasound： A review［J］. Front Cardiovasc Med， 2023， 10： 1056055.

切面名称	训练集图像数	测试集图像数	总图像
图像总数	144 787	36 198	180 985
A4C	16 115	4 029	20 144
PSPA	13 884	3 471	17 355
PLAX-LV	22 280	5 570	27 850
PSAX-MV	9 035	2 259	11 294
PSAX-Pap	12 862	3 215	16 077
PSAX-LVA（切面识别）	13 089	3 274	16 363
PSAX-LVA（质量评分）	4 450	1 113	5 563
Others	57 522	14 380	71 902

切面类别	准确率	精确度	召回率	F1值
A4C	99.78	99.85	99.78	99.81
PSPA	99.83	99.63	99.83	99.73
PLAX-LV	99.77	99.77	99.77	99.77
PSAX-MV	95.00	95.55	95.00	95.27
PSAX-Pap	95.93	94.95	95.93	95.44
PSAX-LVA	97.19	97.64	97.19	97.41
Others	99.76	99.83	99.76	99.79
宏平均/总体	98.90	98.17	98.18	98.17

切面类别	PLCC	SPOCC	RMSE	MAE
A4C	0.945	0.943	6.27	3.95
PSPA	0.929	0.941	10.78	6.39
PLAX-LV	0.889	0.922	8.37	4.81
PSAX-MV	0.948	0.926	7.40	4.31
PSAX-Pap	0.962	0.938	6.28	3.76
PSAX-LVA	0.923	0.906	8.58	5.74
平均	0.933	0.929	7.95	4.83

[1]	胡希,李艳,刘洋. 深度学习在辅助生殖技术领域的应用进展[J]. 实用医学杂志, 2024, 40(7): 893-897.
[2]	赵倩,张艳,乔荞,邓爱云. 体外膜肺氧合支持下经皮冠状动脉介入治疗患者预后的影响因素[J]. 实用医学杂志, 2024, 40(2): 219-224.
[3]	向佳,陈茜彤,卢颖欣,郑思捷,黄俊杰,陈莹莹,黄绥丹,陈淮. 基于深度学习在弥漫性囊腔性肺疾病分类中的应用[J]. 实用医学杂志, 2024, 40(19): 2747-2754.
[4]	刘娟,李彦杰,秦合伟,马璐瑶,赵楠楠,丁慧敏. 线粒体质量控制系统失调介导帕金森病的作用机制[J]. 实用医学杂志, 2024, 40(11): 1479-1482.
[5]	李若男杨俊张静杨简向祖金 . 线粒体质量控制系统在心脏衰老中的研究进展 [J]. 实用医学杂志, 2023, 39(8): 1052-1057.
[6]	郭润财,王蕾,黄振国,席霖枫,张帅,刘敏. 基于从头训练模式深度学习卷积神经网络模型评估急性肺栓塞的价值[J]. 实用医学杂志, 2023, 39(22): 2979-2983.
[7]	江欢欢,袁新春. 超声新技术评估慢性主动脉瓣反流患者左室心肌功能的研究进展[J]. 实用医学杂志, 2023, 39(19): 2446-2449.
[8]	李艳秋姚俊鹏鄢香芸杨雨晴陈敏李瑛. 基于AGREE Ⅱ对慢性便秘临床实践指南的质量评价及内容分析 [J]. 实用医学杂志, 2022, 38(19): 2377-2383.
[9]	罗刚泮思林乔思波庞善臣陈涛涛孙玲玉董玉坤. 深度学习技术在胎儿超声心动图图像自动识别中的应用[J]. 实用医学杂志, 2022, 38(14): 1830-1833.
[10]	李艳飞张颖黄立伟庞丽娜郑敏娟. 冠状动脉起源异常的超声影像特征及心功能分析 [J]. 实用医学杂志, 2021, 37(19): 2540-2543.
[11]	杨洁, 刘秋生, 李礼安, 肖良成, 曾晓静. 加强围手术期术前讨论质控的做法与体会 [J]. 实用医学杂志, 2021, 37(15): 2026-2029.