Подходы к формированию выборки для контроля качества работы систем искусственного интеллекта в медико-биологических исследованиях

Цель исследования — оценка эффективности подходов формирования выборки при проведении периодического контроля качества результатов работы систем искусственного интеллекта (СИИ), применяемых в медико-биологической практике.

Материалы и методы. Проанализированы подходы формирования выборок, основанные на точечной статистической оценке, проверке статистических гипотез, на использовании готовых статистических таблиц, а также варианты подходов, представленных в ГОСТ Р ИСО 2859-1-2007 «Статистические методы. Процедуры выборочного контроля по альтернативному признаку». Рассмотрены варианты формирования выборок разного размера для генеральных совокупностей от 1000 до 100 000 исследований.

Анализ подходов к формированию выборки проводили в рамках эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и их дальнейшего применения в системе здравоохранения г. Москвы.

Результаты. Готовые таблицы имеют конкретные статистические входные данные, что не позволяет считать их универсальным вариантом для медико-биологических исследований. С помощью точечной статистической оценки можно рассчитать выборку исходя из заданных статистических параметров с определенным доверительным интервалом. Данный подход перспективен в случае, когда для исследователя важна лишь ошибка первого рода, а ошибка второго рода является неприоритетной. Использование подхода, основанного на проверке статистических гипотез, дает возможность учитывать ошибки первого и второго рода исходя из заданных статистических параметров. Применение ГОСТ Р ИСО 2859-1-2007 для формирования выборки позволяет использовать готовые значения в зависимости от заданных статистических параметров.

При оценке эффективности изучаемых подходов установлено, что для наших целей оптимальное количество исследований при проведении контроля качества СИИ для анализа медицинских изображений составляет 80 единиц. Это удовлетворяет требованиям репрезентативности, баланса рисков потребителя и поставщика услуг СИИ, а также оптимизации трудозатрат сотрудников, вовлеченных в процесс контроля качества результатов работы СИИ.

1. Васюта Е.А., Подольская Т.В. Проблемы и перспективы внедрения искусственного интеллекта в медицине. Государственное и муниципальное управление. Ученые записки 2022; 1: 25–32, https://doi.org/10.22394/2079-1690-2022-1-1-25-32.
2. Ярмухаметов Р.Р. Обзор применений искусственного интеллекта в медицине. Наукосфера 2020; 12–2: 172–178.
3. Алексеева М.Г., Зубов А.И., Новиков М.Ю. Ис­кус­ственный интеллект в медицине. Международный научно-исследовательский журнал 2022; 7–2: 10–13, https://doi.org/10.23670/irj.2022.121.7.038.
4. Карпов О.Э., Андриков Д.А., Максименко В.А., Хра­мов А.Е. Прозрачный искусственный интеллект для медицины. Врач и информационные технологии 2022; 2: 4–11, https://doi.org/10.25881/18110193_2022_2_4.
5. Афимьина К.Г., Кушнирчук И.И. Применение методов искусственного интеллекта в медицине. Известия Российской военно-медицинской академии 2021; 40(S1–S3): 17–19.
6. Елизарова М.И., Уразова К.М., Ермашов С.Н., Пронь­кин Н.Н. Искусственный интеллект для медицины. International Journal of Professional Science 2021; 5: 81–85.
7. Гусев А.В., Владзимирский А.В., Шарова Д.Е., Арзамасов К.М., Храмов А.Е. Развитие исследований и разработок в сфере технологий искусственного интеллекта для здравоохранения в Российской Федерации: итоги 2021 года. Digital Diagnostics 2022; 3(3): 178–194, https://doi.org/10.17816/dd107367.
8. Морозов С.П., Владзимирский А.В., Кляштор­ный В.Г., Андрейченко А.Е., Кульберг Н.С., Гомболев­ский В.А., Сергунова К.А. Клинические испытания программного обес­печения на основе интеллектуальных тех­нологий (лучевая диагностика). Серия «Лучшие прак­тики лучевой и инструментальной диагностики». Вып. 57. М; 2019; 51 с.
9. Приказ Министерства здравоохранения РФ от 15.09.2020 №980н «Об утверждении Порядка осущест­вления мониторинга безопасности медицинских изделий».
10. Решение Коллегии Евразийской экономической ко­миссии от 22.12.2015 №174 «Об утверждении Правил проведения мониторинга безопасности, качества и эффективности медицинских изделий».
11. World Health Organization. Guidance for post-market surveillance and market surveillance of medical devices, including in-vitro-diagnostics. WHO; 2020. URL: https://www.who.int/docs/default-source/essential- medicines/in-vitro-diagnostics/draft- public-pmsdevices.pdf?sfvrsn=f803f68a_2.
12. European Commission. Guidance on Clinical Evaluation (MDR)/Performance Evaluation (IVDR) of Medical Device Software. Luxembourg; 2020. URL: https://ec.europa.eu/health/system/files/2020- 09/md_mdcg_2020_1_guidance_clinic_eva_md_software_en_0.pdf.
13. U.S. Food and Drug Administration. Postmarket Surveillance Under Section 522 of the Federal Food, Drug, and Cosmetic Act. Guidance for Industry and Food and Drug Administration Staff. 2021. URL: https://www.fda.gov/media/81015/download.
14. Федеральный закон от 21.11.2011 №323-ФЗ «Об основах охраны здоровья граждан в Российской Федерации» (в ред. от 01.01.2022).
15. Benjamens S., Dhunnoo P., Meskó B. The state of artificial intelligence-based FDA-approved medical devices and algorithms: an online database. NPJ Digit Med 2020; 3: 118, https://doi.org/10.1038/s41746-020-00324-0.
16. Kelly C.J., Karthikesalingam A., Suleyman M., Corrado G., King D. Key challenges for delivering clinical impact with artificial intelligence. BMC Med 2019; 17(1): 195, https://doi.org/10.1186/s12916-019-1426-2.
17. U.S. Food and Drug Administration. Proposed Regulatory Framework for Modifications to Artificial Intelligence Machine Learning (AI ML)-Based Software as a Medical Device (SaMD). Discussion Paper and Request for Feedback. 2019. URL: https://www.fda.gov/media/122535/download.
18. IMDRF Software as a Medical Device (SaMD) Working Group. “Software as a Medical Device”: Possible Framework for Risk Categorization and Corresponding Considerations. 2014. URL: https://www.imdrf.org/sites/default/files/docs/ imdrf/final/technical/imdrf-tech-140918-samd- framework-risk-categorization-141013.pdf.
19. Park Y., Jackson G.P., Foreman M.A., Gruen D., Hu J., Das A.K. Evaluating artificial intelligence in medicine: phases of clinical research. JAMIA Open 2020; 3(3): 326–331, https://doi.org/10.1093/jamiaopen/ooaa033.
20. Article 78 — post-market surveillance system of the manufacturer. URL: https://lexparency.org/eu/32017R0746/ART_78.
21. Florey С.D. Sample size for beginners. BMJ 1993; 306(6886): 1181–1184, https://doi.org/10.1136/bmj.306.6886.1181.
22. Адлер Ю.П. Выборка: «все или ничего». Контроль качества продукции 2015; 8: 26–32.
23. Адлер Ю.П. Репрезентативна ли ваша выборка? Контроль качества продукции 2016; 5: 39–43.
24. Бондаренко Н.Н., Писарик В.М., Атрашкевич Т.И., Но­вик И.И. Формирование репрезентативной выборки для STEPS-исследования в республике Беларусь. Вопросы организации и информатизации здравоохранения 2018; 2: 30–38.
25. Burmeister E., Aitken L. Sample size: how many is enough? Aust Crit Care 2012; 25(4): 271–274, https://doi.org/10.1016/j.aucc.2012.07.002.
26. Naing L., Winn T., Rusli B.N. Practical issues in calculating the sample size for prevalence studies. Arch Orofac Sci 2006; 1: 9–14.
27. Braganza O. Economically rational sample-size choice and irreproducibility. arXiv; 2019; URL: https://arxiv.org/pdf/1908.08702v2.pdf.
28. Singh A.S., Masuku M.B. Sampling techniques & determination of sample size in applied statistics research: an overview. Int J Economics Commerce Manag 2014; 2(11): 1–22.
29. Lwanga S.K., Lemeshow S. Sample size determination in health studies. World Health Organization; 1991; 80 p.
30. Kim J., Seo B.S. How to calculate sample size and why. Clin Orthop Surg 2013; 5(3): 235–242, https://doi.org/10.4055/cios.2013.5.3.235.
31. Шарафутдинова Н.Х., Киреева Э.Ф., Николаева И.Е., Павлова М.Ю., Халфин Р.М., Шарафутдинов М.А., Борисо­ва М.В., Латыпов А.Б., Галикеева А.Ш. Статистические методы в медицине и здравоохранении. Уфа: ФГБОУ ВО БГМУ Минздрава России; 2018; 131 с.
32. Skaff P.A., Sloan J. Design and analysis of equivalence clinical trials via the SAS system. Proc SUGI 1998; 23: 1166–1171.
33. Койчубеков Б.К., Сорокина М.А., Мхитарян К.Э. Опре­деление размера выборки при планировании научного исследования. Международный журнал прикладных и фундаментальных исследований 2014; 4: 71–74.
34. Noordzij M., Tripepi G., Dekker F.W., Zoccali C., Tanck M.W., Jager K.J. Sample size calculations: basic principles and common pitfalls. Nephrol Dial Transplant 2010; 25(5): 1388–1393, https://doi.org/10.1093/ndt/gfp732.
35. Cody J. Sample size calculation using SAS®, R, and nQuery software. SAS Global Forum; 2020. URL: https://www.sas.com/content/dam/SAS/support/en/ sas-global-forum-proceedings/2020/4675-2020.pdf.
36. Тараканова В.В., Наумкин Б.И. Формирование выборочной совокупности. Эксперимент и инновации в школе 2009; 3: 46–49.
37. Israel G.D. Determining sample size. Florida: University of Florida, IFAS extension; 2012.
38. Kadam P., Bhalerao S. Sample size calculation. Int J Ayurveda Res 2010; 1(1): 55–57, https://doi.org/10.4103/0974-7788.59946.
39. Dell R.B., Holleran S., Ramakrishnan R. Sample size determination. ILAR J 2002; 43(4): 207–213, https://doi.org/10.1093/ilar.43.4.207.
40. Lakens D. Sample size justification. Collabra Psychol 2022; 8(1): 1–32.
41. Kirby A., Gebski V., Keech A.C. Determining the sample size in a clinical trial. Med J Aust 2002; 177(5): 256–257, https://doi.org/10.5694/j.1326-5377.2002.tb04759.x.
42. Jones S.R., Carley S., Harrison M. An introduction to power and sample size estimation. Emerg Med J 2003; 20(5): 453–458, https://doi.org/10.1136/emj.20.5.453.
43. Rebrova O.Yu., Gusev A.V. Sample size calculation for clinical trials of medical decision support systems with binary outcome. Sovremennye tehnologii v medicine 2022; 14(3): 6, https://doi.org/10.17691/stm2022.14.3.01.
44. Schilling Е.G., Neubauer D.V. Acceptance sampling in quality control. Taylor & Francis Group, LLC; 2008; 709 p.
45. Полунина Н.В. Общественное здоровье и здравоохранение. М: Медицинское информационное агентство; 2010; 544 с.
46. Наркевич А.Н., Виноградов К.А. Методы определения минимально необходимого объема выборки в медицинских исследованиях. Социальные аспекты здоровья населения 2019; 65(6): 10.
47. Паниотто В.И., Максименко В.С. Количественные методы в социологических исследованиях. Киев; 2003. URL: https://www.kiis.com.ua/materials/books/ 376072_C6170_paniotto_v_i_maksimenko_v_s_ kolichestvennye_metody_v_sociolo.pdf.
48. Сырцова Л.Е., Косаговская И.И., Авксентьева М.В. Основы эпидемиологии и статистического анализа в общественном здоровье и управлении здравоохранением. М; 2003; 91 с.
49. Агишева Д.К., Зотова С.А., Матвеева Т.А., Свет­личная В.Б. Математическая статистика. Волго­град: ВПИ (филиал) ВолгГТУ; 2010; 159 с.
50. Румянцев П.О., Саенко В.А., Румянцева У.В., Че­кин С.Ю. Статистические методы анализа в клинической практике. 2009. URL: https://medstatistic.ru/articles/StatMethodsInClinics.pdf.
51. Taherdoost H. Determining sample size; how to calculate survey sample size. Int J Econ Manag Syst 2017; 2: 237–239.
52. Blackwelder W.C. Equivalence trials. In: Encyclopedia of biostatistics. Volume 2. New York: John Wiley and Sons; 1998; p. 1367–1372.
53. Chow S.C., Shao J., Wang H. Sample size calculations in clinical research. 2nd Edition. Florida: Chapman & Hall/CRC Biostatistics Series; 2008.
54. ГОСТ Р ИСО 2859-1-2007. Статистические методы. Процедуры выборочного контроля по альтернативному признаку. Часть 1. Планы выборочного контроля последовательных партий на основе приемлемого уровня качества. М: Стандартинформ; 2007; 101 с.
55. Шарашкина Т.П. Статистические методы в управлении качеством. Саранск: Мордовский государственный университет; 2013; 91 с.
56. Бородачёв С.М. Статистические методы в управлении качеством. Екатеринбург: Издательство Уральского университета; 2016; 87 с.
57. Клячкин В.Н. Статистические методы в управлении качеством. Ульяновск: УлГТУ; 2013; 156 с.
58. Ефимов В.В. Основы бережливого производства. Ульяновск: УлГТУ; 2011; 160 с.
59. Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department. Experiment on the use of innovative computer vision technologies for analysis of medical images in the Moscow healthcare system. URL: https://www.clinicaltrials.gov/ct2/show/NCT04489992.
60. Andreychenko A.E., Logunova T.A., Gombolevskiy V.A., Nikolaev A.E., Vladzymyrskyy A.V., Sinitsyn V.E., Morozov S.P. A methodology for selection and quality control of the radiological computer vision deployment at the megalopolis scale. medRxiv; 2010, https://doi.org/10.1101/2022.02.12.22270663.
61. Международная классификация болезней 10-го пересмотра (МКБ-10) 2021. URL: https://mkb-10.com.
62. Приказ Департамента здравоохранения города Москвы от 24.02.2022 №160 «Об утверждении Порядка и условий проведения эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы».
63. Баврина А. П. Основные понятия статистики. Медицинский альманах 2020; 3: 101–111.
64. Кошевой О.С., Карпова М.К. Определение объема выборочной совокупности при проведении региональных социологических исследований. Известия высших учеб­ных заведений. Поволжский регион 2011; 2: 98–104.
65. Fox N., Hunn A., Mathers N. Sampling and sample size calculation. Sheffield: Trent RDSU; 2007; 41 p.

Chetverikov S.F., Arzamasov K.M., Andreichenko A.E., Novik V.P., Bobrovskaya T.M., Vladzimirsky A.V. Approaches to Sampling for Quality Control of Artificial Intelligence in Biomedical Research. Sovremennye tehnologii v medicine 2023; 15(2): 19, https://doi.org/10.17691/stm2023.15.2.02