Том 18, номер 3 (2026)

Введение

В настоящее время изучается возможность внедрения современных технологических решений, особенно систем искусственного интеллекта, в медицинскую практику [1–3]. Все большее внимание уделяется применению больших языковых моделей (large language model, LLM), таких как GPT, Gemini, Grok и DeepSeek [4–7]. Эти модели демонстрируют высокую эффективность в обработке естественного языка, генерации медицинских заключений и анализе сложных клинических сценариев. Тем не менее их интеграция с данными визуализации требует дальнейших исследований, что, в частности, актуально в контексте применения оптической когерентной томографии (ОКТ). ОКТ представляет собой неинвазивный метод визуализации, позволяющий осуществлять высокоточную оценку структур сетчатки на клеточном уровне с разрешением до 2–3 мкм [8] и выявлять более 40 различных биомаркеров, характерных для широкого спектра заболеваний сетчатки глаза [9]. В научной литературе широко представлены исследования, посвященные классификации заболеваний сетчатки на основе ОКТ-изображений с использованием методов машинного и глубокого обучения [10–16]. Однако большинство исследований ограничены задачами классификации для четырех заболеваний, тогда как в реальных клинических условиях число потенциальных диагнозов значительно превышает данное количество. Альтернативный подход заключается в выявлении и классификации биомаркеров на ОКТ-изображениях [17–20]. При этом важно учитывать, что один и тот же биомаркер может встречаться при различных заболеваниях, а один диагноз — проявляться различными наборами биомаркеров. Следовательно, для повышения точности дифференциальной диагностики необходимо учитывать не только визуальные данные, но и клинический анамнез пациента.

Цель настоящего исследования — повышение точности дифференциальной диагностики заболеваний сетчатки с помощью совместного использования трансформерной модели для классификации биомаркеров на ОКТ-изображениях и большой языковой модели DeepSeek-V3.

Материалы и методы

Наборы данных. В исследовании использовано два набора данных. Набор обучения моделей для многоклассовой классификации был сформирован из трех источников: открытые наборы OCTID (946 изображений) [21] и OCTDL (2042 изображения) [22], а также личный набор (300 ОКТ-изображений макулярной зоны). Итоговый набор содержит 3288 изображений, размеченных по восьми биомаркерам: IRF (intraretinal fluid) — интраретинальная жидкость; SRF (subretinal fluid) — субретинальная жидкость; HE (hard exudates) — твердые экссудаты; CNV (choroidal neovascularization) — субретинальные неоваскулярные мембраны всех типов + субретинальный гиперрефлективный материал; PED (pigment epithelium) — элевация пигментного эпителия; Drusen — все типы друз; ERM (epiretinal membrane) — эпиретинальная мембрана; MH (macular hole) и LMH (lamellar macular hole) — объединение всех типов макулярных отверстий.

На рис. 1 представлено распределение биомаркеров в тренировочном наборе. В наборе данных сохраняется дисбаланс классов. Каждое изображение может содержать несколько биомаркеров.

Рис. 1. Гистограмма распределения по классам биомаркеров

В качестве тестового набора данных использованы аннотированные клинические случаи из открытого профессионального сайта ОКТ — octcases.com. Набор содержит следующие данные: анамнез, ОКТ-изображение и верифицированный диагноз. Всего в наборе представлено 18 разных диагнозов, часть из которых — редко встречаемые.

Предварительная обработка изображений выполнялась с использованием библиотеки torchvision и включала последовательность преобразований: масштабирование, случайные повороты и отражения, перспективные и центрированные обрезки с автопаддингом, преобразование в тензоры и нормализацию. Эти шаги обеспечивали стандартизацию и аугментацию изображений для улучшения качества обучения моделей.

Обучение и выбор лучшей модели для мультиклассовой классификации биомаркеров на ОКТ-изображениях сетчатки. Для решения задачи мультиклассовой классификации и изучения влияния различных архитектур на производительность был сформирован набор моделей: ResNet50 и ResNet101 (сверточные нейронные сети с разной глубиной), DenseNet121 (сверточная нейронная сеть с плотными связями между слоями), EfficientNet_b1 (сверточная нейронная сеть с эффективным масштабированием) и ViT-Tiny-Patch16-224 (Vision Transformer; трансформерная архитектура). Это обеспечило разнообразие подходов и позволило оценить применимость моделей к данной задаче при ограниченном объеме обучающих данных.

Для каждой модели вычисляли следующие метрики многоклассовой классификации (Macro averaging — усреднение метрик по классам с равным весом каждого класса; Micro averaging — вычисление метрик на основе суммарного числа истинно-положительных, ложноположительных и ложноотрицательных предсказаний по всем классам, что позволяет учитывать вклад каждого класса пропорционально количеству объектов в нем):

Accuracy — доля корректно классифицированных объектов среди всех наблюдений;

Precision — доля истинно положительных предсказаний среди всех предсказанных моделью положительных объектов;

Recall — доля истинно положительных объектов, корректно выявленных моделью среди всех фактически положительных;

F1-score — гармоническое среднее между Precision и Recall, характеризующее баланс точности и полноты.

C дополнительным тестированием на тестовом наборе данных для каждой метрики были построены 95% доверительные интервалы методом bootstrap. В табл. 1 приведены полученные метрики качества обученных моделей для мультиклассовой классификации биомакеров на ОКТ-изображениях сетчатки, рассчитанные на тестовом наборе данных с доверительными интервалами.

Таблица 1. Метрики качества дообученных моделей для мультиклассовой классификации биомакеров на ОКТ-изображениях сетчатки

Лучший результат в этой задаче показала модель ViT-Tiny-Patch16-224 трансформерной архитектуры. Метрика weighted F1-score для этой модели — 0,84±0,04; Specificity — 0,94±0,01. В дальнейшем для валидации классификации и взаимодействия с большой языковой моделью будет использоваться именно она.

Валидация и взаимодействие с большой языковой моделью. На рис. 2 представлена архитектура предложенного нами подхода.

Рис. 2. Блок-схема алгоритма интеграции трансформерной модели ViT-Tiny и большой языковой модели DeepSeek-V3

Из полученных с помощью обученной модели ViT-Tiny-Patch16-224 меток биомаркеров болезней и данных анамнеза был сформирован промпт (запрос к языковой модели) для взаимодействия с LLM DeepSeek-V3 через интерфейс программирования приложений (API). Метки на выходе из модели — бинарные для мультиклассовой классификации и преобразованы в текстовое описание классов. Для оценки работы алгоритма сформировано 3 варианта промпта:

1) описание ОКТ-снимков и данные анамнеза;

2) только описание ОКТ-снимков;

3) только данные анамнеза.

Работу алгоритма оценивали с помощью следующих метрик:

Top-1 Accuracy — доля случаев, в которых правильный класс (в нашем случае правильный диагноз) на первом месте;

Top-3 Accuracy — доля случаев, в которых истинный класс (в нашем случае истинный диагноз) оказался среди трех наиболее вероятных предсказаний модели;

MRR (mean reciprocal rank) — средний обратный ранг, показывающий, на каком месте в среднем находится правильный ответ среди всех предсказаний.

Результаты

Работу модели ViT-Tiny- Patch16-224 оценивали с использованием Grad-CAM++. 

 Grad-CAM++ (Gradient-weighted Class Activation Mapping) — это метод интерпретации моделей глубокого обучения, который позволяет визуализировать важные области изображения, используемые моделью для принятия решений [23].

На рис. 3 приведены примеры карт активации для разных классов биомаркеров. Модель фокусируется на определенных областях изображения, что может быть полезно для понимания того, как она принимает решения.

Рис. 3. Карты активации для разных классов биомаркеров (слева направо — классы MH, SRF, ERM)

Оценка алгоритма взаимодействия дообученной модели ViT-Tiny-Patch16-224 и LLM DeepSeek-V3 в дифференциальной диагностике заболеваний сетчатки представлена в табл. 2.

Таблица 2. Метрики качества работы LLM DeepSeek-V3 с разными вариантами промпта

Как показано в табл. 2, вероятность правильного определения диагноза в числе трех наиболее вероятных вариантов (метрика Top-3) прогрессивно возрастает при переходе от использования только данных анамнеза (46%) к анализу только ОКТ-снимков (66%) и достигает максимального значения при использовании комбинированной архитектуры, объединяющей анамнез и ОКТ-данные (94%). Исходя из полученных данных можно сделать следующие выводы: наилучшие результаты достигаются при использовании комбинации данных, полученных с помощью нейронной сети Vit-Tiny (дообученной для задачи мультиклассовой классификации биомаркеров на ОКТ-изображениях) и текстовых данных анамнеза.

В табл. 3 представлены примеры и практические аспекты применимости разработанного подхода (работа алгоритма с различными видами промптов).

Таблица 3. Примеры работы алгоритма с разными вариантами промпта

Обсуждение

Настоящее исследование отличается от ранее опубликованных работ [14–16] тем, что предлагает подход к мультиклассовой классификации восьми био­маркеров на ОКТ-изображениях сетчатки, основанный на сочетании архитектуры ViT-Tiny-Patch16-224 и современных методов оптимизации. В отличие от известных исследований [17, 18, 20, 22], ориентированных преимущественно на сегментацию, бинарную классификацию или значительно более крупные архитектуры, предложенная методика демонстрирует, что компактная модель Vision Transformer может обеспечивать высокую точность при ограниченном объеме данных и большом количестве диагностических категорий.

В ходе экспериментов модель ViT-Tiny-Patch16-224 достигла значений Recall 83,3%, Precision 86,2% и Specificity 94,0%, что сопоставимо с результатами других моделей. Для сравнения: в работе A. Salehi и соавт. [18], использовавших модель ResNet50 для классификации восьми классов биомаркеров заболеваний на ОКТ-изображениях сетчатки, показатели Recall и Specificity составили 86,8 и 87,4% соответственно. В исследовании Е.А. Каталевской и соавт. [17], применивших архитектуру EfficientNetB0 в сочетании с FPN для сегментации шести биомаркеров заболеваний на ОКТ-изображениях сетчатки, значения метрик Recall и Specificity варьировали в диапазоне 82,64–94,44% и 89,73–99,41% соответственно.

Дополнительный эксперимент, включавший 50 клинических офтальмологических случаев и использовавший связку ViT-Tiny + DeepSeek, показал следующие значения метрик: Top-1 — 78%, Top-3 — 94% и MRR — 84%. Для сравнения: в работе J. Zhou и соавт. [7] (150 дерматологических случаев), модель SkinGPT-4 (ViT + GPT-4.0) обеспечила 80,63% релевантных ответов и 75% полного согласия экспертов. А в исследовании D. Bahir и соавт. [4], оценивавших Gemini Advanced и ChatGPT-4 на 600 офтальмологических случаях, точность моделей составила 66 и 62% соответственно.

Предложенный нами подход обладает рядом преимуществ: использование компактной модели снижает вычислительные затраты, интеграция Vision Transformer с крупными языковыми моделями демонстрирует перспективность такого направления для медицинской диагностики, а архитектура остается гибкой и масштабируемой, позволяя адаптировать ее к другим задачам анализа изображений.

Необходимо отметить, что небольшой объем выборки и ограниченное число биомаркеров снижают обобщающую способность модели, а различия в методологиях и метриках между сопоставляемыми работами не позволяют проводить строгие количественные сравнения.

С практической точки зрения разработанный подход может применяться как вспомогательный инструмент для автоматизированного анализа ОКТ-изображений, ускоряя первичную диагностику. Тем не менее для его полноценного внедрения в клиническую практику необходимы дальнейшие исследования на расширенных и стандартизированных наборах данных, включая многоцентровые выборки.

Заключение

В ходе настоящего исследования удалось повысить качество дифференциальной диагностики заболеваний сетчатки в реальных клинических условиях благодаря предложенному нами комбинированному подходу. Для задачи мультиклассовой классификации наилучшие результаты показала модель ViT-Tiny-Patch16-224 (значения метрики F1 macro — 0,84±0,03). На ее основе разработан алгоритм интеграции взаимодействия с большой языковой моделью DeepSeek-V3, использующий последовательный анализ текстовых данных анамнеза и графической информации о биомаркерах на ОКТ-снимках. Такая комбинированная архитектура продемонстрировала максимальную эффективность, достигнув метрик Top-1 Accuracy — 78%, Top-3 Accuracy — 94% и MRR — 84%. Использование данного подхода позволило улучшить показатели точности классификации более чем на 10% по сравнению с методами, основанными исключительно на клиническом анамнезе, и на 50, 42 и 44% по метрикам Top-1, Top-3 и MRR соответственно по сравнению с методами, использующими только данные о биомаркерах ОКТ.

Перспективы дальнейших исследований включают расширение перечня выявляемых биомаркеров и увеличение валидационной выборки за счет включения редких, в том числе орфанных, заболеваний сетчатки глаза.

Финансирование исследования. Исследование выполнено за счет гранта Российского научного фонда №26-21-20092, https://rscf.ru/project/26-21-20092/, а также при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках Программы развития Уральского федерального университета имени первого Президента России Б.Н. Ельцина в соответствии с программой стратегического академического лидерства «Приоритет 2030».

Конфликт интересов отсутствует.