Методология проведения пострегистрационного клинического мониторинга для программного обеспечения с применением технологий искусственного интеллекта

В.В. Зинченко, К.М. Арзамасов, С.Ф. Четвериков, А.В. Мальцев, В.П. Новик, Е.С. Ахмад, Д.Е. Шарова, А.Е. Андрейченко, А.В. Владзимирский, С.П. Морозов

Ключевые слова: искусственный интеллект; медицинское программное обеспечение; пострегистрационный клинический мониторинг.

2022, том 14, номер 5, стр. 15.

DOI: https://doi.org/10.17691/stm2022.14.5.02

Полный текст статьи

html pdf

1108

1084

Аннотация
Список литературы
Как цитировать в References

Цель исследования — разработать методологию проведения пострегистрационного клинического мониторинга программного обеспечения на основе технологий искусственного интеллекта (ПО с ИИ), являющегося медицинским изделием.

Материалы и методы. В основу методологии пострегистрационного клинического мониторинга положены требования нормативных правовых актов Коллегии Евразийской экономической комиссии. Согласно данным требованиям, в рамках мониторинга должны проводиться анализ сообщений о неблагоприятных событиях, анализ периодических отчетов производителей о безопасности и эффективности ПО с ИИ, а также оценка системы сбора и анализа данных производителя о безопасности и эффективности медицинского изделия на пострегистрационном этапе. При разработке методологии также учитывали рекомендации International Medical Device Regulators Forum, документы Food and Drug Administration (США). Разработанная методология апробирована на ПО с ИИ, предназначенном для применения в области лучевой диагностики.

Результаты. Выделено три основных этапа пострегистрационного мониторинга ПО с ИИ: сбор обратной связи от пользователей, технологический мониторинг и клиническая валидация. Технологический мониторинг заключается в регулярной проверке качества выходных данных ПО с ИИ для своевременного выявления и устранения дефектов, а также в оценке стабильности работы продукта. Важным результатом служат упорядочивание перечня технологических дефектов ПО с ИИ и их классификация на примере лучевой диагностики. Использование данной методологии привело к постепенному снижению числа исследований с дефектами за счет своевременных доработок алгоритмов искусственного интеллекта: при последующих проверках отмечалось снижение числа дефектов до 5% по различным направлениям. Клиническая валидация подтвердила способность ПО с ИИ выдавать клинически значимые выходные данные, связанные с его целевым использованием в рамках установленного производителем функционального назначения. В процессе апробации определен порядок проведения данного испытания и основные требования к нему.

Заключение. Разработанная методология позволит обеспечить безопасность и эффективность применения ПО с ИИ с учетом специфики данных продуктов как нематериальных медицинских изделий. Приведенная в данной статье методология может использоваться разработчиками ПО с ИИ в процессе составления плана и при выполнении пострегистрационного клинического мониторинга.

Guidance for post-market surveillance and market surveillance of medical devices, including in-vitro-diagnostics. URL: https://www.who.int/docs/default-source/essential- medicines/in-vitro-diagnostics/draft- public-pmsdevices.pdf?sfvrsn=f803f68a_2.
Guidance on Clinical Evaluation (MDR) / Performance Evaluation (IVDR) of medical device software. URL: https://ec.europa.eu/health/sites/default/files/md_ sector/docs/md_mdcg_2020_1_guidance_ clinic_eva_md_software_en.pdf.
Postmarket Surveillance Under Section 522 of the Federal Food, Drug, and Cosmetic Act. Guidance for Industry and Food and Drug Administration Staff. URL: https://www.fda.gov/media/81015/download.
Федеральный закон от 21.11.2011 №323-ФЗ «Об основах охраны здоровья граждан в Российской Федерации» (с изм. и доп., вступ. в силу с 01.10.2021).
Приказ Минздрава России от 14.09.2012 №175н «Об утверждении Порядка осуществления мониторинга безопасности медицинских изделий» (зарегистрирован Минюстом России 25.12.2012 №26356).
Решение Коллегии Евразийской экономической комиссии от 22 декабря 2015 г. №174 «Об утверждении Правил проведения мониторинга безопасности, качества и эффективности медицинских изделий».
Карпов О.Э., Клименко Г.С., Лебедев Г.С. Применение интеллектуальных систем в здравоохранении. Современные наукоемкие технологии 2016; 7–1: 38–43.
Гусев А.В., Добриднюк С.Л. Искусственный интеллект в медицине и здравоохранении. Информационное общество 2017; 4–5: 78–93.
Benjamens S., Dhunnoo P., Meskó B. The state of artificial intelligence-based FDA-approved medical devices and algorithms: an online database. NPJ Digit Med 2020; 3(1): 118, https://doi.org/10.1038/s41746-020-00324-0.
Kelly C.J., Karthikesalingam A., Suleyman M., Corrado G., King D. Key challenges for delivering clinical impact with artificial intelligence. BMC Med 2019; 17(1): 195, https://doi.org/10.1186/s12916-019-1426-2.
Proposed Regulatory Framework for Modifications to Artificial Intelligence Machine Learning (AI ML)-Based Software as a Medical Device (SaMD). Discussion paper and request for feedback. URL: https://www.fda.gov/media/122535/download.
Приказ МЗ РФ от 6 июня 2012 г. №4н «Об утверждении номенклатурной классификации медицинских изделий».
Harvey H.B., Gowda V. How the FDA regulates AI. Acad Radiol 2020; 27(1): 58–61, https://doi.org/10.1016/j.acra.2019.09.017.
Shuren J.; IMDRF Chair. “Software as a Medical Device”: possible framework for risk categorization and corresponding considerations. 2014. URL: https://www.imdrf.org/sites/default/files/docs/ imdrf/final/technical/imdrf-tech-140918-samd- framework-risk-categorization-141013.pdf.
Higgins D.C. OnRAMP for regulating artificial intelligence in medical products. Adv Intell Syst 2021; 3(11): 2100042, https://doi.org/10.1002/aisy.202100042.
Software as a Medical Device (SaMD) Action Plan. URL: https://www.fda.gov/media/145022/download.
Software as a Medical Device (SaMD): Clinical Evaluation. URL: https://www.fda.gov/regulatory-information/search- fda-guidance-documents/software-medical-device-samd- clinical-evaluation.
General Principles of Software Validation; Final Guidance for Industry and FDA Staff. URL: https://www.fda.gov/files/medical%20devices/ published/General-Principles-of-Software-Validation---Final-Guidance-for-Industry-and-FDA-Staff.pdf.
Higgins D., Madai V.I. From bit to bedside: a practical framework for artificial intelligence product development in healthcare. Adv Intell Syst 2020; 2: 2000052, https://doi.org/10.1002/aisy.202000052.
Sounderajah V., Ashrafian H., Golub R.M., Shetty S., De Fauw J., Hooft L., Moons K., Collins G., Moher D., Bossuyt P.M., Darzi A., Karthikesalingam A., Denniston A.K., Mateen B.A., Ting D., Treanor D., King D., Greaves F., Godwin J., Pearson-Stuttard J., Harling L., McInnes M., Rifai N., Tomasev N., Normahani P., Whiting P., Aggarwal R., Vollmer S., Markar S.R., Panch T., Liu X.; STARD-AI Steering Committee. Developing a reporting guideline for artificial intelligence-centred diagnostic test accuracy studies: the STARD-AI protocol. BMJ Open 2021; 11(6): e047709, https://doi.org/10.1136/bmjopen-2020-047709.
Морозов С.П., Владзимирский А.В., Ледихова Н.В., Андрейченко А.Е., Арзамасов К.М., Баланюк Э.А., Гомболевский В.А., Ермолаев С.О., Живоденко В.С., Идрисов И.М., Кирпичев Ю.С., Логунова Т.А., Нуждина В.А., Омелянская О.В., Раковчен В.Г., Слепушкина А.В. Московский эксперимент по применению компьютерного зрения в лучевой диагностике: вовлеченность врачей-рентгенологов. Врач и информационные технологии 2020; 4: 14–23, https://doi.org/10.37690/1811-0193-2020-4-14-23.
Эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы. URL: https://mosmed.ai/ai/.
Морозов С.П., Владзимирский А.В., Кляшторный В.Г., Андрейченко А.Е., Кульберг Н.С., Гомболевский В.А., Сергунова К.А. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика). В кн.: Серия «Лучшие практики лучевой и инструментальной диагностики». Выпуск 57. М; 2019; 51 с.
Andreychenko A.E., Logunova T.A., Gombolevskiy V.A., Nikolaev A.E., Vladzymyrskyy A.V., Sinitsyn V.E., Morozov S.P. A methodology for selection and quality control of the radiological computer vision deployment at the megalopolis scale. medRxiv; 2022, https://doi.org/10.1101/2022.02.12.22270663.
Ying G.S., Maguire M.G., Glynn R.J., Rosner B. Calculating sensitivity, specificity, and predictive values for correlated eye data. Investig Ophthalmol Vis Sci 2020; 61(11): 29, https://doi.org/10.1167/iovs.61.11.29.
Arroyo-Palacios J., Rudz M., Fidler R., Smith W., Ko N., Park S., Bai Y., Hu X. Characterization of shape differences among ICP pulses predicts outcome of external ventricular drainage weaning trial. Neurocrit Care 2016; 25(3): 424–433, https://doi.org/10.1007/s12028-016-0268-4.
Наркевич А.Н., Виноградов К.А. Методы определения минимально необходимого объема выборки в медицинских исследованиях. Социальные аспекты здоровья населения 2019; 65(6): 10.
Pepe M.S. Chapter 8: study design and hypothesis testing. In: The statistical evaluation of medical tests for classification and prediction. New York: Oxford University Press; 2003; p. 319.
Павлов Н.А., Андрейченко А.Е., Владзимирский А.В., Ревазян А.А., Кирпичев Ю.С., Морозов С.П. Эталонные медицинские датасеты (MosMedData) для независимой внешней оценки алгоритмов на основе искусственного интеллекта в диагностике. Digital Diagnostics 2021; 2(1): 49–66.
Зинченко В.В. Хоружая А.Н., Шарова Д.Е., Ахмад Е.С., Мокиенко О.А., Владзимирский А.В., Морозов С.П. Стандартизация в области регулирования технологий искусственного интеллекта в российском здравоохранении. Казанский медицинский журнал 2021; 102(6): 923–933.
ГОСТ Р 59921.5—2022 «Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов».
Park Y., Jackson G.P., Foreman M.A., Gruen D., Hu J., Das A.K. Evaluating artificial intelligence in medicine: phases of clinical research. JAMIA Open 2020; 3(3): 326–331, https://doi.org/10.1093/jamiaopen/ooaa033.
Health Sciences Authority Singapore. Regulatory Guidelines for Software Medical Devices — a Life Cycle Approach. Revision 2.0. URL: https://www.hsa.gov.sg/docs/default-source/hprg-mdb/ gudiance-documents-for-medical-devices/regulatory-guidelines-for- software-medical-devices---a-life-cycle-approach_r2-(2022-apr)-pub.pdf.
Zinchenko V., Chetverikov S., Akhmad E., Arzamasov K., Vladzymyrskyy A., Andreychenko A., Morozov S. Changes in software as a medical device based on artificial intelligence technologies. Int J Comput Assist Radiol Surg 2022; 17(10): 1969–1977, https://doi.org/10.1007/s11548-022-02669-1.
Ronquillo J.G., Zuckerman D.M. Software-related recalls of health information technology and other medical devices: implications for FDA regulation of digital health. Milbank Q 2017; 95(3): 535–553, https://doi.org/10.1111/1468-0009.12278.
ISO/TR 20416:2020. Medical devices — Post-market surveillance for manufacturers. URL: https://www.iso.org/standard/67942.html.
Article 78 — Post-market surveillance system of the manufacturer. URL: https://lexparency.org/eu/32017R0746/ART_78/.
ГОСТ Р 59921.2—2021 «Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний».
ГОСТ Р 59921.3—2021 «Системы искусственного интеллекта в клинической медицине. Часть 3. Управление изменениями в системах искусственного интеллекта с непрерывным обучением».
ГОСТ Р 59921.4—2021 «Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров».
ГОСТ Р 59921.6—2021 «Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации».

Zinchenko V.V., Arzamasov K.M., Chetverikov S.F., Maltsev A.V., Novik V.P., Akhmad E.S., Sharova D.E., Andreychenko A.E., Vladzymyrskyy A.V., Morozov S.P. Methodology for Conducting Post-Marketing Surveillance of Software as a Medical Device Based on Artificial Intelligence Technologies. Sovremennye tehnologii v medicine 2022; 14(5): 15, https://doi.org/10.17691/stm2022.14.5.02