Диагностика патологий по данным видеоэндоскопии с использованием ансамбля сверточных нейронных сетей

Предлагается технология построения классификатора образов патологических образований, полученных с помощью видео­эндоскопии с применением методов глубинного обучения (deep learning). Для обучения и тестирования нейросетевых моделей использованы выборки публичной базы данных CVC-ColonDB и 20 видеозаписей процесса колоноскопии Университета штата Аризона (Феникс, США). Для повышения надежности модели классификации данные зашумлены эффектами, которые присущи съемке современными камерами, используемыми при эндоскопии, а также проведено исследование построения модели при выборках небольшого размера.

При построении классификатора использованы результаты современных исследований моделей сверточных нейронных сетей в медицинской диагностике, что позволяет применять данный подход при проектировании архитектуры сверточных нейронных сетей в зависимости от особенностей задачи. Путем обобщения особенностей архитектур успешных моделей разработан новый подход к формированию безызбыточной сверточной нейронной сети. Согласно предлагаемому подходу, архитектура сети разделяется на блоки с определенными значениями характеристик, чередование которых позволяет сформировать наиболее эффективную структуру.

С использованием предложенного подхода к формированию оптимальной архитектуры сверточных нейронных сетей на основе рекомендаций по выбору значений характеристик сети и ранжирования наиболее значимых из них разработан второй подход к построению адаптивной модели классификатора. Он основывается на формировании ансамбля классификаторов типа «сверточная нейронная сеть». Для обеспечения устойчивости к изменению исходных данных и широкой применимости к различным классам задач классификации изображений в ансамбль входит набор сетей с отличными друг от друга наиболее значимыми факторами.

Экспериментальные исследования показали, что классификатор имеет потенциал улучшения качества распознавания путем разработки ансамбля сверточных нейронных сетей с учетом зависимостей, рассмотренных в предложенном подходе. Полученные результаты работы демонстрируют перспективность применения разработанного подхода для построения моделей классификации образов не только в ходе решения задач медицинской диагностики, но и для общих задач машинного зрения при малой выборке.

1. Varol G. Salah A.A. Efficient large-scale action recognition in videos using extreme learning machines. Expert Syst Appl 2015; 42(21): 8274–8282, https://doi.org/10.1016/j.eswa.2015.06.013.
2. Taylor F.R. Evaluation of supervised machine learning for classifying video traffic. Doctoral dissertation. Nova Southeastern University; 2016.
3. Li B., Meng M.Q.-H., Lau J.Y.W. Computer-aided small bowel tumor detection for capsule endoscopy. Artif Intell Med 2011; 52(1): 11–16, https://doi.org/10.1016/j.artmed.2011.01.003.
4. Wang Y., Tavanapong W., Wong J., Oh J., de Groen P.C. Part-based multiderivative edge cross-sectional profiles for polyp detection in colonoscopy. IEEE J Biomed Health Inform 2014; 18(4): 1379–1389, https://doi.org/10.1109/jbhi.2013.2285230.
5. Moon W.K., Shen Y.W., Bae M.S., Huang C.S., Chen J.H., Chang R.F. Computer-aided tumor detection based on multi-scale blob detection algorithm in automated breast ultrasound images. IEEE Trans Med Imaging 2013; 32(7): 1191–1200, https://doi.org/10.1109/tmi.2012.2230403.
6. Sudharani K., Sarma T.C., Prasad K.S. Advanced morphological technique for automatic brain tumor detection and evaluation of statistical parameters. Procedia Technology 2016; 24: 1374–1387, https://doi.org/10.1016/j.protcy.2016.05.153.
7. Goel R.M., Patel K.V., Borrow D., Anderson S. Video capsule endoscopy for the investigation of the small bowel: primary care diagnostic technology update. Br J Gen Pract 2014; 64(620): 154–156, https://doi.org/10.3399/bjgp14x677680.
8. Silva F.B., Dinis-Ribeiro M., Vieth M., Rabenstein T., Goda K., Kiesslich R., Haringsma J., Edebo A., Toth E., Soares J., Areia M., Lundell L., Marschall H.U. Endoscopic assessment and grading of Barrett’s esophagus using magnification endoscopy and narrow-band imaging: accuracy and interobserver agreement of different classification systems (with videos). Gastrointest Endosc 2011; 73(1): 7–14, https://doi.org/10.1016/j.gie.2010.09.023.
9. Li B., Meng M.Q., Xu L. A comparative study of shape features for polyp detection in wireless capsule endoscopy images. Conf Proc IEEE Eng Med Biol Soc 2009, https://doi.org/10.1109/iembs.2009.5334875.
10. Li B., Fan Y., Meng M.Q.-H., Qi L. Intestinal polyp recognition in capsule endoscopy images using color and shape features. International Conference on Robotics and Biomimetics (ROBIO) 2009, https://doi.org/10.1109/robio.2009.5420969.
11. Tajbakhsh N., Gurudu S.R., Liang J. A classification-enhanced vote accumulation scheme for detecting colonic polyps. Lecture Notes in Computer Science 2013; p. 53–62, https://doi.org/10.1007/978-3-642-41083-3_7.
12. Park S.Y., Sargent D., Spofford I., Vosburgh K.G., A-Rahim Y. A colon video analysis framework for polyp detection. IEEE Trans Biomed Eng 2012; 59(5): 1408–1418, https://doi.org/10.1109/TBME.2012.2188397.
13. Song S.E., Seo B.K., Cho K.R., Woo O.H., Son G.S., Kim C., Cho S.B., Kwon S.S. Computer-aided detection (CAD) system for breast MRI in assessment of local tumor extent, nodal status, and multifocality of invasive breast cancers: preliminary study. Cancer Imaging 2015; 15(1): 1, https://doi.org/10.1186/s40644-015-0036-2.
14. El-Dahshan El-S.A., Mohsen H.M., Revett K., Salem A.-B.M. Computer-aided diagnosis of human brain tumor through MRI: a survey and a new algorithm. Expert Syst Appl 2014; 41(11): 5526–5545, https://doi.org/10.1016/j.eswa.2014.01.021.
15. Liu L., Tian Z., Zhang Z., Fei B. Computer-aided detection of prostate cancer with MRI: technology and applications. Acad Radiol 2016; 23(8): 1024–1046, https://doi.org/10.1016/j.acra.2016.03.010.
16. ГНЦ колопроктологии Росздрава. Отделение эндоскопической хирургии. Как происходит колоноскопия? URL: http://www.colonoscopy.ru/patient/procedure2.htm.
17. Углов А.С., Замятин А.В. Информационно-програм­мный комплекс для решения задач персонализированной медицины с применением интеллектуального анализа дан­ных. В кн.: Информационные технологии и математическое моделирование. Томск; 2017; c. 126–134.
18. Axyonov S., Zamyatin A., Liang J., Kostin K. Advanced pattern recognition and deep learning for colon polyp detection. In: Distributed computer and communication networks: control, computation, communications. Moscow; 2016; p. 27–34.
19. Аксенов C.В., Костин К.А., Джанминг Л., Замятин А.В. Использование методов Deep Learning для детектирования полипов при колоноскопии. В кн.: Информационные тех­нологии и математическое моделирование. Томск; 2016; с. 75–79.
20. Bernal J., Sánchez J., Vilariño F. Towards automatic polyp detection with a polyp appearance model. Pattern Recognition 2012; 45(9): 3166–3182, https://doi.org/10.1016/j.patcog.2012.03.002.
21. Nibali A., He Z., Wollersheim D. Pulmonary nodule classification with deep residual networks. Int J Comput Assist Radiol Surg 2017; 12(10): 1799–1808, https://doi.org/10.1007/s11548-017-1605-6.
22. Tajbakhsh N., Gurudu S.R., Liang J. Automatic polyp detection in colonoscopy videos using an ensemble of convolutional neural networks. IEEE 12th International Symposium on Biomedical Imaging (ISBI) 2015, https://doi.org/10.1109/isbi.2015.7163821.
23. LeCun Y., Kavukcuoglu K., Farabet C. Convolutional networks and applications in vision. Proceedings of 2010 IEEE International Symposium on Circuits and Systems 2010, https://doi.org/10.1109/iscas.2010.5537907.
24. Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных. Москва: ДМК Пресс; 2015. URL: http://mv.cvc.uab.es/projects/colon-qa/cvccolondb.
25. CVC colon DB. URL: http://mv.cvc.uab.es/projects/colon-qa/cvccolondb.
26. Park S.Y., Sargent D., Spofford I., Vosburgh K.G., A-Rahim Y. A colon video analysis framework for polyp detection. IEEE Transactions on Biomedical Engineering 2012; 59(5): 1408–1418, https://doi.org/10.1109/tbme.2012.2188397.
27. Tajbakhsh N., Gotway M.B., Liang J. Computer-aided pulmonary embolism detection using a novel vessel-aligned multi-planar image representation and convolutional neural networks. Medical Image Computing and Computer-Assisted Intervention 2015; p. 62–69, https://doi.org/10.1007/978-3-319-24571-3_8.
28. Zhu R., Zhang R., Xue D. Lesion detection of endoscopy images based on convolutional neural network features. 8th International Congress on Image and Signal Processing (CISP) 2015, https://doi.org/10.1109/cisp.2015.7407907.
29. Kooi T., Litjens G., van Ginneken B., Gubern-Mérida A., Sánchez C.I., Mann R., den Heeten A., Karssemeijer N. Large scale deep learning for computer aided detection of mammographic lesions. Med Image Anal 2017; 35: 303–312, https://doi.org/10.1016/j.media.2016.07.007.
30. Tajbakhsh N., Gurudu S.R., Liang J. A comprehensive computer-aided polyp detection system for colonoscopy videos. Lecture Notes in Computer Science 2015; p. 327–338, https://doi.org/10.1007/978-3-319-19992-4_25.

Aksenov S.V., Kostin K.A., Ivanova A.V., Liang J., Zamyatin A.V. An Ensemble of Convolutional Neural Networks for the Use in Video Endoscopy. Sovremennye tehnologii v medicine 2018; 10(2): 7, https://doi.org/10.17691/stm2018.10.2.01