Технологии искусственного интеллекта в условиях микрохирургической операционной (обзор)

Введение

В последние десятилетия наблюдается значительный интерес к практическому применению методов искусственного интеллекта (ИИ), в том числе машинного обучения, в области клинической медицины. Текущие успехи технологий ИИ в нейровизуализации открывают новые перспективы в развитии неинвазивной и персонализированной диагностики. Так, активно развиваются методы радиомики — извлечения большого количества признаков из медицинских изображений. Эти признаки могут содержать информацию для описания опухолей и структур мозга, которые не видны невооруженным глазом [1–5]. Предполагается, что правильное представление и анализ изображения с нейровизуализационными характеристиками поможет различать типы опухолей и соотносить их с клиническими проявлениями заболевания, прогнозом и наиболее эффективным лечением.

Технологии, оценивающие взаимосвязь между особенностями визуализации опухолей и экспрессией генов, получили название радиогеномики [6–9]. Эти методы направлены на создание визуализационных биомаркеров, которые могут идентифицировать генетические признаки заболевания без проведения биопсии.

Известны также успехи технологий ИИ в анализе молекулярных и генетических данных, сигналов от инвазивных датчиков, медицинских текстов. Универсальность подходов к применению ИИ открывает новые, оригинальные способы их использования в клинике.

С технической точки зрения термином «искусственный интеллект» можно обозначить математическую технологию, которая автоматизирует решение некоторой интеллектуальной задачи, традиционно решаемой человеком. В более широком смысле этим термином называют область компьютерных наук, в рамках которой такие решения разрабатываются.

Современный ИИ опирается на технологии машинного обучения — методы извлечения закономерностей и правил из репрезентативных для конкретной задачи данных (медицинских изображений, текстовых записей, генетических последовательностей, лабораторных анализов и т.д.). Например, технологии ИИ могут находить «правила» предсказания неблагоприятного исхода лечения по набору предикторов, ретроспективно «изучая» достаточное количество таких случаев с известными исходами. Это свойство ИИ можно использовать в задачах автоматизации отдельных процессов диагностики, выбора лечебной тактики или прогноза исходов медицинской помощи по клиническим данным.

В медицинской практике, в частности в хирургии, ИИ наряду с хирургическими роботами, 3D-печатью и новыми методами визуализации позволяет решать большой круг задач, повышая уровень точности и эффективности операций.

Для микрохирургии, когда речь идет о вмешательствах на малых анатомических структурах с использованием оптических средств и микрохирургического инструментария, применение ИИ имеет еще более важное значение.

Одной из задач использования ИИ в микрохирургии является автоматическое распознавание критически важных для микрохирурга анатомических структур (артерий, вен, нервов и др.) на интраоперационных фотографиях, видеоизображениях или изображениях анатомических препаратов. Решение этой задачи создает перспективы для разработки средств автоматического оповещения о рисках травматизации критически важных структур во время операции в режиме реального времени, выбора траекторий для безопасной диссекции или разрезов в функционально значимых областях [10].

Искусственный интеллект может оценить владение хирургическими инструментами, проконтролировать положение микроинструмента в руках хирурга (положение его в руке, отношение к операционной ране), тремор рук хирурга.

Перспективными задачами для ИИ в микрохирургии служат определение этапа операции, прогнозирование исходов и осложнений, создание основы интеллектуальной системы поддержки принятия интраоперационных решений во время микрохирургического вмешательства.

Нетривиальной задачей использования ИИ в микрохирургии является оценка навыков начинающих хирургов и ординаторов, а также улучшение техники у более опытных специалистов. Решение этой задачи в силу крайней сложности и ответственности работы микрохирурга позволит вывести данную область медицины на новые рубежи.

Для оценки имеющихся решений задачи использования ИИ в условиях микрохирургической операционной выполнен анализ статей в текстовой базе данных медицинских и биологических публикаций PubMed. Поиск литературы осуществляли по ключевым словам «surgical procedures», «dexterity», «microsurgery» AND «artificial intelligence OR machine learning OR neural networks» среди статей на английском и русском языках без ограничения по дате публикации.

Автоматическая оценка уровня микрохирургических навыков

Непрерывное обучение и постоянное совершенствование микрохирургической техники являются обязательными условиями формирования квалифицированного микрохирурга. Часто на обретение необходимого уровня микрохирургических навыков уходит бóльшая часть профессиональной жизни [11–13].

Микрохирургический тренинг требует постоянного участия наставника, который бы исправлял неоптимальные действия и движения микрохирурга, руководил процессом обучения. Можно провести параллель между подготовкой микрохирургов и олимпийских спортсменов: достижения высокого уровня невозможны без правильной системы подготовки и высокой квалификации тренеров. Однако вследствие большой клинической нагрузки и занятости опытных микрохирургов-наставников их постоянное присутствие в микрохирургической лаборатории невозможно, а старт обучения в условиях настоящей операционной вступает в противоречие с нормами медицинской этики. В этой ситуации технологии ИИ вполне можно использовать в процессе обучения для контроля за правильностью и эффективностью мануальных действий начинающего нейрохирурга.

К настоящему времени набор технологий ИИ, которые были бы адаптированы для анализа микрохирургических манипуляций, существенно ограничен. Например, в работах A. Bykanov c соавт. [14] и C.J. Coulson c соавт. [15] для оценки уровня микрохирургического тремора использовали акселерометры, прикрепленные к микрохирургическим инструментам. В работе K. Harada с соавт. [16] инфракрасные оптические маркеры отслеживания движения, инерциальный измерительный блок и тензодатчики были установлены на микрохирургическом пинцете для измерения пространственных параметров, связанных с манипуляциями с инструментом. Методы ИИ и машинного обучения в данной работе не применяли. M.A. Applebaum с соавт. [17] сравнили такие параметры, как время и количество движений в процессе выполнения микрохирургического задания пластическими хирургами с разным уровнем опыта, используя электромагнитное устройство отслеживания движения для записи перемещения рук хирурга. Такой подход к оценке производительности микронейрохирургических действий отличается объективностью и надежностью инструментальных измерений, но требует специального оборудования.

Экспертный анализ видеоизображений работы хирурга в условиях операционной может быть использован как альтернативный метод оценки степени овладения навыками микрохирургической техники. Однако привлечение эксперта к анализу таких изображений — времязатратный и крайне трудоемкий способ. Покадровый анализ движений микроинструмента по видеозаписям симуляционного хирургического действия был применен A. Óvári с соавт. [18]. Попытки объективно оценить и категорировать микрохирургическое действие на основе анализа видеозаписи микрохирургического тренинга сделаны в работе T. Satterwhite с соавт. [19]. Однако анализ и оценка действий обучающихся микрохирургов в данной работе были выполнены путем просмотра видеозаписей экспертами и выставления оценок по разработанной шкале, что не позволяет нивелировать влияние субъективного фактора на результаты анализа.

Многообещающей альтернативой указанным технологиям видятся методы машинного обучения, в первую очередь — компьютерное зрение, для автоматизированной оценки эффективности макро- и микрохирургических действий. Эти методы могут применяться на основе детекции и анализа перемещений микрохирургического инструмента в операционной ране. Проанализировав немногочисленную научную литературу по этой теме, мы обобщили основные процессы получения данных для анализа микрохирургических манипуляций с помощью машинного обучения (табл. 1).

---

Таблица 1. Особенности процессов сбора данных, используемых в машинном обучении, для анализа микрохирургических манипуляций

---

Немногогочисленные данные научной литературы свидетельствуют о том, что методы машинного обучения позволяют выявлять сложные взаимосвязи в паттернах движений микрохирурга и прогнозировать параметры эффективности микрохирургического действия. Для реализации этих задач первым этапом необходимо обучить модель правильно классифицировать движение и сам микрохирургический инструмент в хирургическом видео. Исследования, выполняемые в настоящее время в данном направлении, в большинстве случаев сфокусированы на обучении компьютеров двум основным функциям: определению стадии хирургической операции и идентификации хирургического инструмента [20].

В работах по микрохирургии с применением машинного обучения чаще всего используют два вида источника данных: это видеозаписи операций [21] и набор переменных, которые получены с датчиков, закрепленных на микроинструментах или на теле оперирующего хирурга. Некоторые исследования комбинируют оба источника [22].

В исследовании N. Markarian с соавт. [21] модель глубокого обучения RetinaNet была создана для идентификации, локализации и аннотации хирургических инструментов по данным интраоперационных видеозаписей эндоскопических эндоназальных операций. Согласно выводам исследования, разработанная модель смогла успешно определять и правильно классифицировать хирургические инструменты. Однако все инструменты в работе относились к одному классу — «инструмент».

Интересное исследование выполнено D.J. Pangal с соавт. [23]. В данной работе авторы оценили возможности глубокой нейронной сети (DNN) предсказывать кровопотерю и исход повреждения внутренней сонной артерии по данным 1 мин видео, полученного из валидированного нейрохирургического тренажера для эндоназальной нейрохирургии. Результаты предсказания модели и экспертов в подавляющем большинстве случаев совпадали.

В работе R.B. McGoldrick с соавт. [24] исследователи для анализа плавности движений сосудистого микрохирурга, выполняющего микроанастамоз, использовали видеозаписи, сделанные непосредственно с камеры операционного микроскопа, и программу ProAnalyst, применив модель логистической регрессии и кубический сплайн.

I.T. Franco-González с соавт. [25] сконструировали стереоскопическую систему с использованием двух камер, которые записывают изображения с разных ракурсов хирургического пинцета. Программа для отслеживания 3D-движения была создана с применением языка программирования C++ и библиотеки OpenCV 3.4.11.

В работе M.M. Oliveira с соавт. [26] показано, что применение машинного обучения и компьютерного зрения при моделировании микрохирургических операций позволяет улучшить базовые навыки как ординаторов, так и специалистов с большим опытом.

Значительным шагом вперед в процессе улучшения распознавания этапов операции стало использование в алгоритмах анализа нейронных сетей с длительной кратковременной памятью (LSTM), что позволило улучшить точность определения фазы операции до 85–90%.

Важно отметить, что в связи с типичными ограничениями объема данных разработчики моделей часто применяют так называемое трансферное обучение [27], которое позволяет предобучить модель на одних данных (чаще всего — на открытых наборах, с помощью которых решают схожие задачи в той же предметной области) и затем дообучить на других, на которых решается целевая задача. В настоящее время известны следующие наборы открытых данных, которые используют в решении задач, связанных с оценкой точности хирургических операций:

EndoVis Challenge datasets — коллекция размеченных наборов данных, которые содержат видеозаписи различных типов хирургических операций для задач классификации, сегментации, детекции, локализации и т.д. [28];

Cholec80 — 80 видеозаписей эндоскопических операций, выполняемых 13 разными хирургами; все видео размечены с учетом фаз операций и наличия инструментов в кадре [29];

MICCAI challenge datasets — набор данных, который позволяет проводить большое количество соревнований по анализу медицинских данных, в том числе и по анализу материалов хирургических операций [30];

JHU-ISI и JIGSAWS — размеченный набор данных видеозаписей операций, проводимых восемью хирургами с тремя уровнями квалификации, которые выполнили в общей сложности 103 базовых роботизированных лабораторных испытания [31];

ATLAS Dione — 99 видеозаписей 6 типов операций, выполняемых 10 разными хирургами с помощью робот-ассистированной системы «да Винчи» (da Vinci Surgical System). Размер кадра — 854×480 пк, каждый из которых размечен на предмет наличия в кадре хирургических инструментов [32].

Теоретически можно использовать сотни и тысячи видеозаписей с целью их анализа с помощью методов машинного обучения. Однако для обучения модели необходимо просматривать и выполнять в «ручном режиме» разметку видеоизображений, что требует большого количества времени. Возможным решением данной проблемы является использование новых алгоритмов, способных самостоятельно выполнять аннотацию видеофайлов [33].

В табл. 2 мы приводим список методов машинного обучения, применяемых, по данным научной литературы, в анализе видеоизображений микрохирургических вмешательств, с их краткой характеристикой.

---

Таблица 2. Методы машинного обучения, применяемые в анализе данных микрохирургических вмешательств

---

Большинство исследований с использованием ИИ для анализа микронейрохирургических действий выполнены на моделях самых простых хирургических манипуляций, отдельных элементарных этапов операций (например, наложение швов, выполнение надрезов). Очевидно, что пилотные исследования в этой сфере обычно начинают с упрощенных моделей. Однако операция — это сложный комплекс разнообразных факторов, влияющих на хирургическую технику и результаты манипуляций, которые сложно учесть в эксперименте. И поэтому перенос моделей машинного обучения из экспериментальных условий в реальную практику не может гарантировать высокого качества работы, чем снижает их ценность.

Заключение

Несмотря на быстрое развитие методов машинного обучения в области клинической медицины, пока они находятся в начальной фазе апробации в задачах оценки микрохирургической техники и скорое внедрение их в повседневную клиническую практику маловероятно. Однако имеются все основания считать, что использование технологий машинного обучения, в частности компьютерного зрения, в микрохирургии имеет хороший потенциал для улучшения процесса обучения микрохирургической технике в будущем. И это служит хорошей предпосылкой для развития особого направления искусственного интеллекта в области микронейрохирургии.

Финансирование. Исследование выполнено за счет гранта Российского научного фонда, проект №22-75-10117.

Конфликт интересов. У авторов нет конфликта интересов.