Подходы к формированию выборки для контроля качества работы систем искусственного интеллекта в медико-биологических исследованиях

С.Ф. Четвериков, К.М. Арзамасов, А.Е. Андрейченко, В.П. Новик, Т.М. Бобровская, А.В. Владзимирский

Ключевые слова: искусственный интеллект; статистические методы; формирование выборки; контроль качества СИИ.

Цель исследования — оценка эффективности подходов формирования выборки при проведении периодического контроля качества результатов работы систем искусственного интеллекта (СИИ), применяемых в медико-биологической практике.

Материалы и методы. Проанализированы подходы формирования выборок, основанные на точечной статистической оценке, проверке статистических гипотез, на использовании готовых статистических таблиц, а также варианты подходов, представленных в ГОСТ Р ИСО 2859-1-2007 «Статистические методы. Процедуры выборочного контроля по альтернативному признаку». Рассмотрены варианты формирования выборок разного размера для генеральных совокупностей от 1000 до 100 000 исследований.

Результаты. Готовые таблицы имеют конкретные статистические входные данные, что не позволяет считать их универсальным вариантом для медико-биологических исследований. С помощью точечной статистической оценки можно рассчитать выборку исходя из заданных статистических параметров с определенным доверительным интервалом. Данный подход перспективен в случае, когда для исследователя важна лишь ошибка первого рода, а ошибка второго рода является неприоритетной. Использование подхода, основанного на проверке статистических гипотез, дает возможность учитывать ошибки первого и второго рода исходя из заданных статистических параметров. Применение ГОСТ Р ИСО 2859-1-2007 для формирования выборки позволяет использовать готовые значения в зависимости от заданных статистических параметров.

При оценке эффективности изучаемых подходов установлено, что для наших целей оптимальное количество исследований при проведении контроля качества СИИ для анализа медицинских изображений составляет 80 единиц. Это удовлетворяет требованиям репрезентативности, баланса рисков потребителя и поставщика услуг СИИ, а также оптимизации трудозатрат сотрудников, вовлеченных в процесс контроля качества результатов работы СИИ.

Введение

Системы искусственного интеллекта (СИИ) в медицине — это инструменты, позволяющие автоматизировать такие рутинные процессы, как заполнение электронных карт, анализ и диагностика медицинских изображений, аналитика и составление планов лечения пациентов. СИИ помогают уменьшить трудозатраты в процессе медико-биологической деятельности, а также повысить точность рекомендаций, диагностики, назначений и т.д. [1–7].

При внедрении СИИ в клиническую практику важной частью является контроль качества результатов работы данных систем [8–10] с целью подтверждения их безопасности и эффективности [11–20]. Для автономной и адаптивной СИИ особую ценность представляет оперативный периодический контроль качества, который позволяет с минимальными рисками и малым временем реагирования скорректировать ее работу.

Все виды дефектов в работе СИИ условно можно разделить по способу обнаружения на две группы: выявляемые при автоматизированной и ручной проверке. Автоматизированная проверка позволяет проводить контроль качества всей генеральной совокупности за определенный период. Ручная проверка осуществляется на ограниченной выборке и требует существенных ресурсных затрат, так как подразумевает под собой открытие и просмотр изображений, находящихся в исследовании; клинический анализ оригинального изображения; оценку результата работы СИИ; ведение документации по контролю качества и т.д. В связи с этим вопрос формирования выборки для проведения контроля качества результатов работы СИИ является актуальным и должен решать как минимум две важные задачи:

1) репрезентативность и правильность долей распределения (содержания) исследуемого признака [21–24];

2) учет трудозатрат сотрудников, вовлеченных в проведение ручного контроля качества результатов работы СИИ.

Предложено множество подходов для расчета объемов выборок в различных областях науки [25–43], однако осуществить аргументированный выбор того или иного подхода при планировании медико-биологического исследования или при внедрении СИИ для практического применения не представляется возможным. Так, в работе [37] сообщается, что в зависимости от используемого подхода получаются различные объемы выборок.

Цель исследования — оценка эффективности подходов формирования выборки при проведении периодического контроля качества результатов работы систем искусственного интеллекта, применяемых в медико-биологической практике.

Материалы и методы

Рассмотрены подходы формирования выборки, основанные на точечной статистической оценке [31, 44–47]; на проверке статистических гипотез — вариант 1 [48–51] и вариант 2 [52, 53]; на применении ГОСТ Р ИСО 2859-1-2007 «Статистические методы. Процедуры выборочного контроля по альтернативному признаку» [54–58].

Анализ подходов к формированию выборки проводили в рамках эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и их дальнейшего применения в системе здравоохранения г. Москвы [59, 60]. Ранее были обнаружены различные виды дефектов в результатах обработки медицинских изображений СИИ [59], которые снижают клиническую и диагностическую ценность изучаемых нами систем.

В данной статье набор медицинских исследований за определенный период, которые обработаны СИИ, мы будем называть партией. Каждая партия состоит из единиц продукции одного вида, класса, типоразмера и состава, обработанных в практически одинаковых условиях в один и тот же период времени. Единица продукции — это исследование, обработанное СИИ (подключенное к радиологической информационной системе «Единый радиологический информационный сервис города Москвы» (ЕРИС)) за определенный отчетный период.

Каждое исследование содержит в себе следующие сведения:

популяционные параметры (гендерно-возрастные показатели, этнический состав, регионы проживания и т.д.); сведения о деперсонализации; сведения о медицинских организациях, послуживших источниками для формирования набора данных;

характеристику исследований (анатомическая область(и); модальность; проекции; типы медицинских изделий — диагностических приборов; виды и характеристики протоколов исследований);

целевую патологию в соответствии с международной классификацией болезней [61];

случаи наличия/отсутствия патологических находок.

Контроль качества результатов работы СИИ проводится периодически. При контроле качества результатов работы изучаемых нами СИИ осуществляется ручной просмотр исследований экспертами. По причине большого количества (более 1000) исследований в партии отсутствует возможность контроля качества в полном объеме из-за ограничений во времени, а также в связи с небольшим количеством экспертов. В рамках эксперимента [59] было установлено, что не более 10% дефектных единиц продукции содержится в генеральной совокупности. Это означает, что вся партия за отчетный период содержит не более 10% единиц продукции с технологическими дефектами [62]. Таким образом, в статье описываются подходы, соответствующие качественному признаку, где известна доля случаев, в которых встречается изучаемый признак. Объем генеральной совокупности находится в пределах от 1000 до 100 000 единиц продукции.

Решение задачи контроля качества партии с результатами работы СИИ проводили на основе выборочного наблюдения, которое базировалось на понятиях генеральной и выборочной совокупности (выборка).

В данной статье описана серийная бесповторная выборка, которая характеризовалась тем, что выбранная единица продукции отбиралась из всего объема генеральной совокупности и не возвращалась обратно, таким образом вероятность попадания остальных единиц продукции возрастала.

Расчеты выполняли при помощи программного обеспечения PASS 15 Update – NCSS (www.ncss.com) и LibreOffice Calc (www.libreoffice.org).

Результаты и обсуждение

Подход, основанный на точечной статистической оценке, учитывает отклонение результатов выборочного исследования от генеральных значений. При данном подходе объем выборки рассчитывается по формуле:

где n — объем выборки; N — объем генеральной совокупности; t — коэффициент, показывающий, с какой вероятностью (надежностью) можно гарантировать достоверность полученного результата или критическое значение критерия Стьюдента при соответствующем уровне значимости (для уровня значимости 0,05 коэффициент t=1,96); Δ — предельная ошибка показателя; w — доля изучаемого признака; q=(1–w) — доля, где изучаемый признак отсутствует.

Таким образом, при доле изучаемого признака (w) 0,9, уровне статистической значимости 0,95 и предельно допустимой ошибке (Δ) 0,05 мы получаем объем выборки (n), равный 138 единицам продукции.

Подход, основанный на проверке статистических гипотез (вариант 1), предполагает проверку статистической гипотезы H₀ (качество партии соответствует предъявляемым требованиям) при наличии альтернативной гипотезы H₁ (качество партии не соответствует предъявляемым требованиям). Если среди n-единиц продукции число дефектных (m) не превышает приемочное число c (m≤c) (максимально допустимое количество забракованных единиц выборки, позволяющее принять решение о приемке товарной партии по качеству), то партия принимается; в противном случае — бракуется.

Для выбора плана контроля (определения выборки) используется формула:

где m — число дефектных единиц продукции в выборке n; p_n(m) — вероятность появления дефектных единиц продукции m в выборке n; c — приемочное число.

Так как в рамках эксперимента [59] объем всей партии превышал объем выборки более чем на 10% [56], то оперативные характеристики определяли по формуле:

где C^m_n — количество сочетаний появления дефектных единиц продукции m в выборке n:

На примере эксперимента [59] было использовано приемочное число, равное двум единицам продукции, произведены расчеты и построены кривые для выборок в 30, 50, 80, 138 единиц продукции (см. рисунок).

Оперативная характеристика для различных объемов выборки:

вертикальная штрихпунктирная линия с двумя точками — риск поставщика; вертикальная штрихпунктирная линия с одной точкой — риск потребителя

На рисунке обозначены риски потребителя и поставщика. Риск поставщика — вероятность отклонить партию хорошего качества (т.е. в генеральной совокупности удельный вес дефектных единиц продукции менее 10%). Учитывая долю заявленных дефектных изделий от поставщика, риск принимаем равным 1%. Риск потребителя — вероятность принять некачественную партию. Учитывая долю дефектных изделий, определенных потребителем, риск принимаем равным 10%.

Анализируя данные табл. 1 и учитывая заданные риски потребителя и поставщика на уровне не более 10% и не более 5% соответственно, мы установили, что объем выборки, равный 80 единицам продукции, удовлетворяет требованиям как со стороны потребителя, так и поставщика.

Таблица 1. Зависимость рисков от объема выборки

Подход, основанный на проверке статистических гипотез (вариант 2),базируется на принципах вероятности отклонения нулевой гипотезы; учитывает риски поставщика и потребителя. Нулевая гипотеза H₀предполагает, что если в генеральной совокупности содержится более 10% дефектных единиц продукции, то вся партия за отчетный период содержит более 10% единиц продукции с технологическими дефектами. Соответственно, при альтернативной гипотезе H₁ — менее 10% единиц продукции с технологическими дефектами. Вероятность отклонения нулевой гипотезы — не менее 80%.

Выполнены расчеты (табл. 2) для выборок в 30, 50, 80, 120 единиц продукции с приемочным числом от нуля до четырех (приемочное число ограничивалось превышением рисков потребителя более 10% или поставщика — более 5%).

Таблица 2. Зависимость рисков от объема выборки и приемочного числа

Анализируя данные табл. 2 и учитывая заданные риски потребителя и поставщика, а также долю заявленных дефектных изделий от поставщика (1%) и долю дефектных изделий, определенных потребителем (10%), установлено, что объем выборки, равный 30, 50, 80 и 120 единиц продукции, удовлетворяет требованиям со стороны как потребителя, так и поставщика при приемочном числе, равном нулю единиц продукции. С учетом доли дефектных единиц продукции при приемочных числах больше нуля наиболее подходящие объемы выборок равнялись 80 или 120 единицам.

Подход, основанный на применении ГОСТ Р ИСО 2859-1-2007 «Статистические методы. Процедуры выборочного контроля по альтернативному признаку», предполагает определение плана выборочного контроля последовательных партий на основе приемлемого уровня качества и может быть применен к различного рода данным или записям. Приемлемый уровень качества выражается в проценте несоответствующих единиц продукции или числе несоответствий на сто единиц продукции.

Нами было рассмотрено несколько вариантов формирования объемов выборок.

Сначала мы обратились к таблице «Коды объема выборки» [54]. В нашем случае общий уровень контроля равен II, специальный уровень контроля не используется. Так как объемы партий у нас находились в пределах от 1000 до 100 000, то для нас были интересны следующие коды: J, K, L, M. В данной работе план не имел многоступенчатости и не подразумевал переход на ослабленный или усиленный контроль. В связи с этим мы использовали данные из таблицы «Одноступенчатые планы при нормальном контроле (основная таблица)» [54]: для приемлемого уровня качества потребителя в 10% (для партий объемом от 501 до 10 000 исследований) объем выборки для контроля качества будет равен 125 единицам продукции с приемочным числом партии, равным нулю; для партий объемом от 10 001 до 150 000 объем выборки для контроля качества будет равен 500 единицам продукции с приемочным числом партии, равным единице.

Затем мы обратились к таблице «Риск изготовителя при нормальном контроле (процент непринятых партий для одноступенчатых планов)» [54] и получили риски поставщика 11,8% для выборки в 125 единиц продукции; 9,02% — для выборки в 500 единиц.

В табл. 3 приведена сводная информация по плюсам и минусам рассматриваемых подходов.

Таблица 3. Плюсы и минусы подходов формирования выборки

Рассмотренные нами подходы расчета объема выборки обладают рядом преимуществ перед широко распространенными подходами, основанными на фиксированных или табличных значениях. Так, например, подходы с применением готовых таблиц имеют конкретные статистические входные данные, что не позволяет считать их универсальными [46, 63, 64].

Таблица по методике В.И. Паниотто [47] содержит значения, которые рассчитаны для конкретных параметров: доля признака — 0,5; допустимая ошибка — 0,05; доверительная вероятность — 0,954 (t=2).

Таблица по методике N. Fox [65] также содержит конкретный параметр: доля признака — 0,35.

Значения из таблиц [47, 65] были рассчитаны по формулам точечной статистической оценки, описанной в данной статье выше. Если входные данные медико-биологического исследования не совпадают с параметрами таблиц, рекомендуем проводить расчеты, а не использовать указанные таблицы для определения объема выборки.

Заключение

Результаты данного исследования дают возможность подобрать наиболее подходящий подход для достижения целей медико-биологических исследований. Использование точечной статистической оценки и подхода, основанного на проверке статистических гипотез, позволяет наиболее гибко рассчитать объемы выборки в зависимости от входных параметров проводимого исследования. Применение ГОСТ Р ИСО 2859-1-2007 для формирования выборки является приоритетным, если эксперимент затрагивает взаимодействие исследователя и сторонней организации; позволяет учитывать риски и ошибки для обеих сторон, вовлеченных в процесс.

Оптимальное количество исследований при проведении контроля качества работы изучаемых нами СИИ для анализа медицинских изображений составляет 80 единиц продукции. Это удовлетворяет требованиям репрезентативности, баланса рисков потребителя и поставщика услуг СИИ, а также оптимизации трудозатрат сотрудников, вовлеченных в процесс контроля качества результатов работы СИИ.

Финансирование. Данная статья подготовлена авторским коллективом в рамках научно-практического проекта в сфере медицины (№ЕГИСУ: 122112400040-1) «Эталонные наборы данных для устойчивого развития технологий искусственного интеллекта в медицинской диагностике с целью минимизации долгосрочных последствий пандемии коронавирусной инфекции для здоровья населения города Москвы».

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Литература

Васюта Е.А., Подольская Т.В. Проблемы и перспективы внедрения искусственного интеллекта в медицине. Государственное и муниципальное управление. Ученые записки 2022; 1: 25–32, https://doi.org/10.22394/2079-1690-2022-1-1-25-32.
Ярмухаметов Р.Р. Обзор применений искусственного интеллекта в медицине. Наукосфера 2020; 12–2: 172–178.
Алексеева М.Г., Зубов А.И., Новиков М.Ю. Искусственный интеллект в медицине. Международный научно-исследовательский журнал 2022; 7–2: 10–13, https://doi.org/10.23670/irj.2022.121.7.038.
Карпов О.Э., Андриков Д.А., Максименко В.А., Храмов А.Е. Прозрачный искусственный интеллект для медицины. Врач и информационные технологии 2022; 2: 4–11, https://doi.org/10.25881/18110193_2022_2_4.
Афимьина К.Г., Кушнирчук И.И. Применение методов искусственного интеллекта в медицине. Известия Российской военно-медицинской академии 2021; 40(S1–S3): 17–19.
Елизарова М.И., Уразова К.М., Ермашов С.Н., Пронькин Н.Н. Искусственный интеллект для медицины. International Journal of Professional Science 2021; 5: 81–85.
Гусев А.В., Владзимирский А.В., Шарова Д.Е., Арзамасов К.М., Храмов А.Е. Развитие исследований и разработок в сфере технологий искусственного интеллекта для здравоохранения в Российской Федерации: итоги 2021 года. Digital Diagnostics 2022; 3(3): 178–194, https://doi.org/10.17816/dd107367.
Морозов С.П., Владзимирский А.В., Кляшторный В.Г., Андрейченко А.Е., Кульберг Н.С., Гомболевский В.А., Сергунова К.А. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика). Серия «Лучшие практики лучевой и инструментальной диагностики». Вып. 57. М; 2019; 51 с.
Приказ Министерства здравоохранения РФ от 15.09.2020 №980н «Об утверждении Порядка осуществления мониторинга безопасности медицинских изделий».
Решение Коллегии Евразийской экономической комиссии от 22.12.2015 №174 «Об утверждении Правил проведения мониторинга безопасности, качества и эффективности медицинских изделий».
World Health Organization. Guidance for post-market surveillance and market surveillance of medical devices, including in-vitro-diagnostics. WHO; 2020. URL: https://www.who.int/docs/default-source/essential- medicines/in-vitro-diagnostics/draft- public-pmsdevices.pdf?sfvrsn=f803f68a_2.
European Commission. Guidance on Clinical Evaluation (MDR)/Performance Evaluation (IVDR) of Medical Device Software. Luxembourg; 2020. URL: https://ec.europa.eu/health/system/files/2020- 09/md_mdcg_2020_1_guidance_clinic_eva_md_software_en_0.pdf.
U.S. Food and Drug Administration. Postmarket Surveillance Under Section 522 of the Federal Food, Drug, and Cosmetic Act. Guidance for Industry and Food and Drug Administration Staff. 2021. URL: https://www.fda.gov/media/81015/download.
Федеральный закон от 21.11.2011 №323-ФЗ «Об основах охраны здоровья граждан в Российской Федерации» (в ред. от 01.01.2022).
Benjamens S., Dhunnoo P., Meskó B. The state of artificial intelligence-based FDA-approved medical devices and algorithms: an online database. NPJ Digit Med 2020; 3: 118, https://doi.org/10.1038/s41746-020-00324-0.
Kelly C.J., Karthikesalingam A., Suleyman M., Corrado G., King D. Key challenges for delivering clinical impact with artificial intelligence. BMC Med 2019; 17(1): 195, https://doi.org/10.1186/s12916-019-1426-2.
U.S. Food and Drug Administration. Proposed Regulatory Framework for Modifications to Artificial Intelligence Machine Learning (AI ML)-Based Software as a Medical Device (SaMD). Discussion Paper and Request for Feedback. 2019. URL: https://www.fda.gov/media/122535/download.
IMDRF Software as a Medical Device (SaMD) Working Group. “Software as a Medical Device”: Possible Framework for Risk Categorization and Corresponding Considerations. 2014. URL: https://www.imdrf.org/sites/default/files/docs/ imdrf/final/technical/imdrf-tech-140918-samd- framework-risk-categorization-141013.pdf.
Park Y., Jackson G.P., Foreman M.A., Gruen D., Hu J., Das A.K. Evaluating artificial intelligence in medicine: phases of clinical research. JAMIA Open 2020; 3(3): 326–331, https://doi.org/10.1093/jamiaopen/ooaa033.
Article 78 — post-market surveillance system of the manufacturer. URL: https://lexparency.org/eu/32017R0746/ART_78.
Florey С.D. Sample size for beginners. BMJ 1993; 306(6886): 1181–1184, https://doi.org/10.1136/bmj.306.6886.1181.
Адлер Ю.П. Выборка: «все или ничего». Контроль качества продукции 2015; 8: 26–32.
Адлер Ю.П. Репрезентативна ли ваша выборка? Контроль качества продукции 2016; 5: 39–43.
Бондаренко Н.Н., Писарик В.М., Атрашкевич Т.И., Новик И.И. Формирование репрезентативной выборки для STEPS-исследования в республике Беларусь. Вопросы организации и информатизации здравоохранения 2018; 2: 30–38.
Burmeister E., Aitken L. Sample size: how many is enough? Aust Crit Care 2012; 25(4): 271–274, https://doi.org/10.1016/j.aucc.2012.07.002.
Naing L., Winn T., Rusli B.N. Practical issues in calculating the sample size for prevalence studies. Arch Orofac Sci 2006; 1: 9–14.
Braganza O. Economically rational sample-size choice and irreproducibility. arXiv; 2019; URL: https://arxiv.org/pdf/1908.08702v2.pdf.
Singh A.S., Masuku M.B. Sampling techniques & determination of sample size in applied statistics research: an overview. Int J Economics Commerce Manag 2014; 2(11): 1–22.
Lwanga S.K., Lemeshow S. Sample size determination in health studies. World Health Organization; 1991; 80 p.
Kim J., Seo B.S. How to calculate sample size and why. Clin Orthop Surg 2013; 5(3): 235–242, https://doi.org/10.4055/cios.2013.5.3.235.
Шарафутдинова Н.Х., Киреева Э.Ф., Николаева И.Е., Павлова М.Ю., Халфин Р.М., Шарафутдинов М.А., Борисова М.В., Латыпов А.Б., Галикеева А.Ш. Статистические методы в медицине и здравоохранении. Уфа: ФГБОУ ВО БГМУ Минздрава России; 2018; 131 с.
Skaff P.A., Sloan J. Design and analysis of equivalence clinical trials via the SAS system. Proc SUGI 1998; 23: 1166–1171.
Койчубеков Б.К., Сорокина М.А., Мхитарян К.Э. Определение размера выборки при планировании научного исследования. Международный журнал прикладных и фундаментальных исследований 2014; 4: 71–74.
Noordzij M., Tripepi G., Dekker F.W., Zoccali C., Tanck M.W., Jager K.J. Sample size calculations: basic principles and common pitfalls. Nephrol Dial Transplant 2010; 25(5): 1388–1393, https://doi.org/10.1093/ndt/gfp732.
Cody J. Sample size calculation using SAS®, R, and nQuery software. SAS Global Forum; 2020. URL: https://www.sas.com/content/dam/SAS/support/en/ sas-global-forum-proceedings/2020/4675-2020.pdf.
Тараканова В.В., Наумкин Б.И. Формирование выборочной совокупности. Эксперимент и инновации в школе 2009; 3: 46–49.
Israel G.D. Determining sample size. Florida: University of Florida, IFAS extension; 2012.
Kadam P., Bhalerao S. Sample size calculation. Int J Ayurveda Res 2010; 1(1): 55–57, https://doi.org/10.4103/0974-7788.59946.
Dell R.B., Holleran S., Ramakrishnan R. Sample size determination. ILAR J 2002; 43(4): 207–213, https://doi.org/10.1093/ilar.43.4.207.
Lakens D. Sample size justification. Collabra Psychol 2022; 8(1): 1–32.
Kirby A., Gebski V., Keech A.C. Determining the sample size in a clinical trial. Med J Aust 2002; 177(5): 256–257, https://doi.org/10.5694/j.1326-5377.2002.tb04759.x.
Jones S.R., Carley S., Harrison M. An introduction to power and sample size estimation. Emerg Med J 2003; 20(5): 453–458, https://doi.org/10.1136/emj.20.5.453.
Rebrova O.Yu., Gusev A.V. Sample size calculation for clinical trials of medical decision support systems with binary outcome. Sovremennye tehnologii v medicine 2022; 14(3): 6, https://doi.org/10.17691/stm2022.14.3.01.
Schilling Е.G., Neubauer D.V. Acceptance sampling in quality control. Taylor & Francis Group, LLC; 2008; 709 p.
Полунина Н.В. Общественное здоровье и здравоохранение. М: Медицинское информационное агентство; 2010; 544 с.
Наркевич А.Н., Виноградов К.А. Методы определения минимально необходимого объема выборки в медицинских исследованиях. Социальные аспекты здоровья населения 2019; 65(6): 10.
Паниотто В.И., Максименко В.С. Количественные методы в социологических исследованиях. Киев; 2003. URL: https://www.kiis.com.ua/materials/books/ 376072_C6170_paniotto_v_i_maksimenko_v_s_ kolichestvennye_metody_v_sociolo.pdf.
Сырцова Л.Е., Косаговская И.И., Авксентьева М.В. Основы эпидемиологии и статистического анализа в общественном здоровье и управлении здравоохранением. М; 2003; 91 с.
Агишева Д.К., Зотова С.А., Матвеева Т.А., Светличная В.Б. Математическая статистика. Волгоград: ВПИ (филиал) ВолгГТУ; 2010; 159 с.
Румянцев П.О., Саенко В.А., Румянцева У.В., Чекин С.Ю. Статистические методы анализа в клинической практике. 2009. URL: https://medstatistic.ru/articles/StatMethodsInClinics.pdf.
Taherdoost H. Determining sample size; how to calculate survey sample size. Int J Econ Manag Syst 2017; 2: 237–239.
Blackwelder W.C. Equivalence trials. In: Encyclopedia of biostatistics. Volume 2. New York: John Wiley and Sons; 1998; p. 1367–1372.
Chow S.C., Shao J., Wang H. Sample size calculations in clinical research. 2nd Edition. Florida: Chapman & Hall/CRC Biostatistics Series; 2008.
ГОСТ Р ИСО 2859-1-2007. Статистические методы. Процедуры выборочного контроля по альтернативному признаку. Часть 1. Планы выборочного контроля последовательных партий на основе приемлемого уровня качества. М: Стандартинформ; 2007; 101 с.
Шарашкина Т.П. Статистические методы в управлении качеством. Саранск: Мордовский государственный университет; 2013; 91 с.
Бородачёв С.М. Статистические методы в управлении качеством. Екатеринбург: Издательство Уральского университета; 2016; 87 с.
Клячкин В.Н. Статистические методы в управлении качеством. Ульяновск: УлГТУ; 2013; 156 с.
Ефимов В.В. Основы бережливого производства. Ульяновск: УлГТУ; 2011; 160 с.
Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department. Experiment on the use of innovative computer vision technologies for analysis of medical images in the Moscow healthcare system. URL: https://www.clinicaltrials.gov/ct2/show/NCT04489992.
Andreychenko A.E., Logunova T.A., Gombolevskiy V.A., Nikolaev A.E., Vladzymyrskyy A.V., Sinitsyn V.E., Morozov S.P. A methodology for selection and quality control of the radiological computer vision deployment at the megalopolis scale. medRxiv; 2010, https://doi.org/10.1101/2022.02.12.22270663.
Международная классификация болезней 10-го пересмотра (МКБ-10) 2021. URL: https://mkb-10.com.
Приказ Департамента здравоохранения города Москвы от 24.02.2022 №160 «Об утверждении Порядка и условий проведения эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы».
Баврина А. П. Основные понятия статистики. Медицинский альманах 2020; 3: 101–111.
Кошевой О.С., Карпова М.К. Определение объема выборочной совокупности при проведении региональных социологических исследований. Известия высших учебных заведений. Поволжский регион 2011; 2: 98–104.
Fox N., Hunn A., Mathers N. Sampling and sample size calculation. Sheffield: Trent RDSU; 2007; 41 p.