Стандартизация в области регулирования технологий искусственного интеллекта в российском здравоохранении

Обложка


Цитировать

Полный текст

Аннотация

Технологии искусственного интеллекта в медицинской практике — новое и перспективное направление во всём мире. Системы поддержки принятия врачебных решений, диагностические и скрининговые программы на основе технологий искусственного интеллекта способны помочь в рутинных и сложных задачах медицинскому персоналу, повысить уровень оказываемой медицинской помощи пациентам. При этом разработка, производство и выпуск в обращение систем искусственного интеллекта должны в обязательном порядке регулироваться. Регистрация и последующий контроль (пострегистрационный мониторинг) систем на основе искусственного интеллекта в медицине требуют создания, корректировки нормативно-правовой базы и технологического регулирования. Российская Федерация разработала перспективную стратегию развития в данной области. Семь национальных стандартов разработаны экспертами в области искусственного интеллекта в здравоохранении, сформированы окончательные редакции. Эти стандарты устанавливают порядок проведения клинических и технических испытаний, требования к эксплуатационным параметрам и понятие жизненного цикла, систему менеджмента качества и менеджмента риска. -Отдельный стандарт посвящён созданию наборов данных для обучения и тестирования разработанных алгоритмов систем на основе искусственного интеллекта, требованиям к ним, формату метаданных. В планах разработанные национальные стандарты вынести на международный уровень, что позволит российским производителям систем на основе искусственного интеллекта, которые внедрят указанные национальные стандарты в свою работу, соответствовать зарубежным аналогам и стать более конкурентоспособным на международном уровне. Уже поддержана международным сообществом разработка стандарта ISO на основе национального стандарта по клиническим испытаниям. Разработку будут проводить на базе технического комитета ISO/TC 215 (Health informatics) совместно с ISO/IEC JTC 1/SC 42 (Artificial intelligence), это позволит вынести отечественные требования к системам на основе искусственного интеллекта на международный уровень. Цикл указанных стандартов будет обобщать признанные методологии, помогая как производителям, так и медицинским организациям, врачам и пациентам производить и использовать качественный, безопасный и эффективный продукт.

Полный текст

Введение. Появляется всё больше доказательств того, что технологии искусственного интеллекта (ИИ) имеют потенциал стать эффективным помощником врача в диагностике заболеваний лёгких (рака лёгкого [1], туберкулёза [2] и прочих лёгочных болезней [3]), рака молочной железы [4], сердечно-сосудистых заболеваний [5] и многих других видов патологии [6–10]. Проработаны направления внедрения технологий ИИ в Российской Федерации, включающие решения в сфере навигации пациента в системе здравоохранения, поддержке принятия решений в области управления здравоохранением, а также в области поддержки принятия врачебных решений [11–13].

Кроме того, системы на основе искусственного интеллекта (СИИ) уже получают практическое применение. В частности, в Российской Федерации системы поддержки принятия врачебных решений, скрининговые системы уже зарегистрированы в качестве медицинского изделия и внедряются во врачебную практику.

Однако актуальными остаются проблемы, мешающие широкому распространению СИИ в практике здравоохранения [14].

Во-первых, возможно возникновение ошибок в работе моделей ИИ в условиях реальной клинической практики, что может быть связано с недостаточным качеством выборки данных, которую разработчики используют для обучения СИИ. Поскольку на данный момент нет требований к полноте и прозрачности документации СИИ, пользователи не могут удостовериться в соответствии обучающей выборки и данных пациентов реальной популяции.

Во-вторых, активно обсуждается защита персональных данных в эпоху информационных технологий, так как информация о пациентах используется как для обучения и тестирования СИИ, так и для их эксплуатации [15].

В-третьих, наибольшая проблема широкого внедрения СИИ — отсутствие полного доверия к ним врачей и пациентов [16].

СИИ представляют собой подобие «чёрного ящика», то есть алгоритм принятия решения не прозрачен как для самого медицинского специалиста, так и для пациента, потому что врач не может полностью раскрыть информацию о лечении по причине непрозрачности решения СИИ.

Особое внимание при разработке и использовании СИИ следует уделять безопасности для пациентов, этот аспект также напрямую влияет на доверие к технологии. С целью повышения доверия устанавливается порядок оценки качества, эффективности и безопасности работы программного обеспечения как медицинского изделия, в том числе СИИ. Введённым приказом Министерства здравоохранения Российской Федерации от 07.07.2020 №686н СИИ отнесены к 3-му классу — программному обеспечению с высокой степенью риска. Таким образом, контрольно-надзорные мероприятия должны быть выстроены с учётом всех особенностей и проблематик данного направления.

Все эти аспекты указывают на необходимость усовершенствования регламентирующих документов [17] и нормативных актов, которые будут устанавливать единые положения к формированию эксплуатационной документации СИИ, регламентировать порядок тестирования СИИ и определять параметры наборов данных, используемые при обучении и тестировании.

Целью данного литературного обзора стало исследование существующей на данный момент нормативно-правовой базы в области регулирования СИИ в мире, а также представление российского опыта создания первых национальных стандартов, которые будут устанавливать технические нормативы для разработки и применения технологий ИИ в здравоохранении.

Поиск литературы проводили в базах данных PubMed, Google Scholar и eLibrary на английском и русском языках. Также использовали международные нормативные документы IMDRF, Health Sciences Authority, FDA, международные обзоры и национальные стратегии в области ИИ ряда государств. Для поиска в PubMed и Google Scholar использовали запросы: «Artificial Intelligence/standardization», «Artificial Intelligence/legislation and jurisprudence», «systematic reviews», «Artificial Intelligence/clinical assessment».

Поиск в eLibrary проводили по ключевым словам «медицинское изделие на основе технологий искусственного интеллекта», «клинические испытания медицинских изделий на основе технологий искусственного интеллекта», «технические испытания медицинских изделий на основе технологий искусственного интеллекта», «клиническая оценка медицинских изделий» в связи со спецификой нормативно-правового регулирования в России.

Критерии включения: актуальные обзоры и нормативные документы, посвящённые использованию СИИ в системе здравоохранения, на английском или русском языке.

Критерии исключения: полный текст документа недоступен либо данные, приведённые в тексте, утратили достоверность/актуальность, научные статьи опубликованы в срок более 5 лет назад.

Международное регулирование систем на основе ИИ в медицине. На текущий момент нет полноценной нормативно-правовой базы, систем контроля и достаточного опыта работы в области технологий ИИ в мире. Для примера, директивы ведущего мирового сообщества компетентных органов в сфере регулирования медицинских изделий разных стран мира (IMDRF — от англ. International Medical Device Regulators Forum) [18], а также нормативное руководство Health Sciences Authority (Сингапур) описывают жизненный цикл и подходы к оценке программного обеспечения как медицинского изделия, но они не учитывают особенности технологий ИИ [19].

Относительно национальных стратегий в области ИИ ряд государств разработал свои документы. В США представлен документ для обсуждения в области СИИ «The national artificial intelligence research and development strategic plan: 2019 update», в котором указан стратегический план развития по следующим направлениям [20]:
– призыв к долгосрочным инвестициям в исследованиях ИИ;
– направленность на разработку эффективных методов взаимодействия человека и ИИ;
– понимание и устранение этических, правовых и социальных последствий ИИ;
– обеспечение безопасности СИИ;
– разработка общедоступных наборов данных для обучения и тестирования ИИ;
– призыв к измерению и оценке технологии ИИ с помощью стандартов и норм;
– лучшее понимание национальных потребностей сотрудников в научно-исследовательских и опытно-конструкторских учреждениях в области ИИ;
– расширение государственно-частного партнёрства для ускорения прогресса в области ИИ [21].

Внедрённые новые подходы регулирования программного обеспечения, являющегося медицинским изделием, в FDA предполагает большее внимание уделять не конечному продукту, а изготовителю (разработчику) [22]. Так FDA сможет предварительно сертифицировать разработчика программного обеспечения (в том числе в области ИИ), который ранее продемонстрировал «культуру качества и организационного превосходства на основе объективных критериев», и сможет выходить на рынок с низким уровнем риска без обширного разрешения FDA.

В южнокорейском документе представлены все национальные стратегии, обозначенные следующим образом: «Если мы сосредоточим нашу национальную поддержку на сильных сторонах нашей политики, мы сможем сократить разрыв с мировыми лидерами в области ИИ. С этой целью правительство представляет национальное видение и общенациональные планы действий для нового скачка вперёд в нашей экономике и улучшении общества, используя преимущества цивилизационных изменений с помощью ИИ как прекрасную возможность» [23].

Евросоюз в 2020 г. опубликовал книгу «On Artificial Intelligence — A European approach to excellence and trust» [24], в которой предложен общий подход Евросоюза к развитию ИИ и способам формирования доверия к этой технологии. Эксперты видят большой потенциал в продвижении концепции обеспечения доверия к ИИ за счёт информирования пациента и врачей о функциональности ИИ, о том, как будут использоваться данные, и т.д. [25]. Документ «New Generation Artificial Intelligence Development Plan» [26] представил в 2017 г. Китай. В документе изложена проектная схема высшего уровня, в которой отражён подход страны к разработке технологий и приложений ИИ и определены общие цели до 2030 г. Отдельно поднимается вопрос обеспечения юридических и этических норм применения ИИ [27], который выходит за рамки данной работы.

Регулирующие документы для систем искусственного интеллекта в здравоохранении в России, опыт создания первых национальных стандартов. Нормативно-правовая база России в области ИИ и медицинских изделий также только начинает формироваться. Согласно Указу Президента РФ от 10.10.2019 №490 «О развитии искусственного интеллекта в Российской Федерации», Национальной стратегией развития ИИ на период до 2030 г. определены задачи развития искусственного интеллекта в России, к которым относятся следующие:
1) поддержка научных исследований в целях обеспечения опережающего развития ИИ;
2) разработка и развитие программного обеспечения, в котором используются технологии ИИ;
3) повышение доступности и качества данных, необходимых для развития технологий ИИ;
4) повышение доступности аппаратного обеспечения, необходимого для решения задач в области ИИ;
5) повышение уровня обеспечения российского рынка технологий ИИ квалифицированными кадрами и уровня информированности населения о возможных сферах использования таких технологий;
6) создание комплексной системы регулирования общественных отношений, возникающих в связи с развитием и использованием технологий ИИ.

Во исполнение вышеуказанной стратегии разработан и 31 августа 2020 г. Правительственной комиссией по цифровому развитию утверждён паспорт федерального проекта «Искусственный интеллект» в рамках национальной программы «Цифровая экономика» [28]. Также в рамках стандартизации в области ИИ создан технический комитет 164 в качестве «зеркального органа» международного технического подкомитета SC42 «Искусственный интеллект», который входит в состав международного объединённого технического комитета ISO/IEC JTC1 «Информационные технологии» [29].

Приказом Росстандарта №3471 от 31 декабря 2019 г. на базе технического комитета 164 создан подкомитет 01 «Искусственный интеллект в здравоохранении» (ПК 01) [30].

Цель деятельности ПК 01, в состав которого вошли как исследователи из различных научных и клинических подразделений, так и разработчики СИИ, — координация работ по унификации и стандартизации требований, используемых при разработке, тестировании и эксплуатации СИИ в здравоохранении. В 2020 г. ПК 01 инициировал разработку первых семи национальных стандартов, которые будут регулировать ключевые аспекты применения ИИ в здравоохранении и его роли в принятии врачебных решений.

– Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания.
– Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний.
– Системы искусственного интеллекта в клинической медицине. Часть 3. Управление изменениями в системах искусственного интеллекта с адаптивными алгоритмами.
– Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров.
– Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к стру­ктуре и порядку применения набора данных для обучения и тестирования алгоритмов.
– Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации.
– Системы искусственного интеллекта в клинической медицине. Часть 7. Процессы жизненного цикла.

На основе стандарта «Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания» (от лица экспертов ПК 01) инициирована разработка международного стандарта по клинической оценке программного обеспечения на базе ИИ ISO «Artificial Intelligence (AI) — Software testing of AI medical devices. Part 1: Clinical evaluation». Инициатива была включена в повестку пленарной сессии, прошедшей с 19 по 30 октября 2020 г. По итогу рассмотрения странами-членами ISO было принято единогласное решение о разработке вышеуказанного стандарта. Работа будет вестись на базе технического комитета ISO/TC 215 (Health informatics) совместно с ISO/IEC JTC 1/SC 42 (Artificial intelligence). На рис. 1 представлены текущие этапы работы над семью основополагающими стандартами.

 

Рис. 1. Семь разрабатываемых стандартов в области регулирования систем искусственного интеллекта (СИИ); ГОСТ — государственный стандарт [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

 

Стандарт будет устанавливать правила проведения клинических испытаний (КИ) с целью регистрации СИИ как медицинского изделия, проводить испытания могут только медицинские организации, входящие в реестр Росздравнадзора и имеющие лицензию на данный вид деятельности. В стандарте подробно представлена методология проведения КИ, которая служит частью клинической оценки СИИ. При составлении и разработке документа эксперты ПК 01 основывались на международных документах, проектах в области регулирования СИИ, а также российских нормативных правовых актах и других работ [25–27, 31–33]. На рис. 2 представлена методология оценки СИИ в рамках технических испытаний (ТИ) и КИ.

 

Рис. 2. Этапы клинической оценки систем искусственного интеллекта (СИИ); ПО — программное обеспечение; НПА — нормативно-правовые акты [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

 

Согласно представленной методологии клиническая оценка включает три составляющих:
1) клиническую связь — подтверждение научной обоснованности между результатами и назначением СИИ;
2) аналитическую валидацию — подтверждение точно, воспроизводимо и надёжно ли СИИ обрабатывает входные данные для создания надёжных выходных данных;
3) клиническую валидацию — подтверждение способности СИИ выдавать клинически значимые выходные результаты, связанные с целевым использованием выходных данных входе клинической практики.

В рамках данного стандарта и согласно нормативным предписаниям необходимо разрабатывать и оценивать СИИ в соответствии с требованиями безопасности и качества, особенно для врачей и других представителей медицины. СИИ должна быть «прозрачной» в понимании для медицинских работников и защищать интересы врачей и пациентов в области конфиденциальности личной информации. Только в этом случае удастся наладить доверительные отношения между врачами, пациентами и разработчиками [28–30,  34–36].

Также для повышения доверия к ИИ должны быть чётко сформулированы требования к наборам данных, применяемых при испытаниях СИИ. Поскольку данному аспекту полностью посвящён стандарт «Часть 5», в «Части 1» кратко описаны требования к порядку формирования наборов данных для проведения тестирований, а также стандартный набор показателей для оценки эффективности СИИ в рамках клинической валидации. Основными показателями в области оценки СИИ в рамках КИ представляются чувствительность, специфичность, прогностическая ценность положительного результата, прогностическая ценность отрицательного результата и др. [18].

Рассматривается понятие системы менеджмента качества, которая должна быть внедрена в работу разработчика СИИ согласно действующим нормативным правовым актам и подтверждена соответствующими сертификатами. Наличие системы менеджмента качества для регистрирующего органа (Росздравнадзора) и медицинских организаций, приобретающих медицинские изделия (потребителей) после выхода на рынок, служит важным показателем доверия к разработанному продукту.

ГОСТ Р «Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний». Для регистрации СИИ в качестве медицинского изделия и получения регистрационного удостоверения производитель должен пройти несколько этапов, первый из которых — ТИ. В ходе ТИ СИИ проверяют на качество, а также соответствие заявленной нормативной документации. Изучают эксплуатационную и техническую документацию от производителя СИИ, проводят или проверяют испытания согласно методике ТИ для конкретной СИИ. В ходе ТИ СИИ выполняют проверку соответствия стандартам безопасности, качества, менеджмента риска, системы менеджмента качества. Успешное прохождение ТИ даёт возможность производителям СИИ перей­ти к этапу прохождения КИ.

ГОСТ Р «Системы искусственного интеллекта в клинической медицине. Часть 5. ­Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов». Для достоверного и качественного проведения ТИ и КИ необходимы разработка дизайна испытаний и создание набора данных для тестирований. В «Части 5» поэтапно указаны требования к содержанию набора данных, его созданию и важности деидентификации данных, а также контроля качества и государственной регистрации верифицированного набора данных. Отдельная глава посвящена системе менеджмента качества при разработке, тестировании и обучении набора данных. В приложениях к стандарту приведен разработанный список метаданных для помощи в создании наборов данных как медицинским организациям для тестирования СИИ, проводящим испытания, так и производителям для обучения алгоритмов.

На рис. 3 представлен процесс подготовки набора данных, который может быть изменён в условиях конкретных задач.

 

Рис. 3. Процесс подготовки набора данных для обучения и тестирования систем искусственного интеллекта [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

 

За исключением указанных выше стандартов, разработаны стандартизирующие подходы к управлению изменениями СИИ с адаптивными алгоритмами, оценке и контролю эксплуатационных параметров, в целом понятию жизненного цикла СИИ (рис. 4) и другие основополагающие моменты. Всё вышеперечисленное необходимо для обеспечения должного качества, эффективности и безопасности работы СИИ, воспроизводимости результатов, от чего зависит, в том числе, дальнейшее развитие здравоохранения.

 

Рис. 4. Процессы жизненного цикла систем искусственного интеллекта; ИИ — искусственный интеллект [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

 

В феврале 2020 г. Росстандартом была принята «Перспективная программа стандартизации на период 2020–2027 гг.» Согласно ей, за 7 лет эксперты ПК 01 планируют разработать порядка 50 стандартов в сфере медицины и здравоохранения по 10 основным направлениям (рис. 5).

 

Рис. 5. Перспективная программа стандартизации в области медицинских изделий на период 2020–2027 гг.; ГОСТ — государственный стандарт; ЖЦ — жизненный цикл; СМК — система менеджмента качества; СИИ — система искусственного интеллекта; СППВР — система поддержки принятия врачебных решений [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

 

В соответствии с планом сначала будут разработаны основополагающие стандарты, регулирующие общие требования к СИИ, использующиеся в здравоохранении. Эксперты уже приступили к созданию ряда национальных стандартов для конкретных областей медицины: лучевой и функциональной диагностики, гистологии, систем дистанционного мониторинга, систем поддержки принятия врачебных решений, обработки больших данных, реконструкции изображений, аналитики и прогнозирования, а также образовательных программ в здравоохранении.

Ранее было показано, что подобные документы играют важную экономическую роль — они становятся катализаторами инновационной деятельности [37]. Стандарты создают условия для разработки инновационных продуктов и облегчают их выход на рынки, способствуя распространению среди целевой аудитории. Кроме того, они регулируют правила инновационных «соревнований», уравнивая между собой небольшие компании и крупные технологические корпорации.

Помимо этого, ранее было показано [38], что введение стандартов способно повысить доверие в цепочке «клиент-поставщик» и улучшить взаимоотношения между разработчиками и пользователями инновационных продуктов.

Обсуждение: значение национальных стандартов в области здравоохранения, перспективы правового регулирования. Нормативно-правовая база для разработки и применения СИИ в области здравоохранения находится на начальных этапах своего развития. Текущий недостаток стандартизации приводит к затруднению и подчас невозможности сравнения различных обучающих наборов данных, а также характеристик самих СИИ. В настоящий момент ни один из зарубежных регулирующих органов не имеет надлежащей экспертизы в области технологий ИИ. В этом аспекте опыт России признан международным сообществом в лице ISO передовым, поскольку в настоящее время идёт разработка нормативно-правовой базы и основополагающих стандартов, непосредственно для СИИ.

Использование разработчиками СИИ стандартов имеет несколько важных преимуществ. Во-первых, это и поддержка конкуренции: обеспечение равных для всех условий доступа к данным, необходимым для разработки СИИ, возможностей для применения экспериментальных правовых режимов и мер государственной поддержки. Во-вторых, это снижение издержек на производстве, повышение имиджа компании, выпуск качественной и безопасной продукции, социально-ориентированный характер СИИ: приоритет благополучия человека (цель обеспечения благополучия и безопасности человека должна преобладать над иными целями разработки и применения СИИ).

Стандарты позволят минимизировать вероятность причинения вреда вследствие некачественной или вредной работы СИИ (следует не допускать разработку, оборот и применение СИИ, способных по своей инициативе целенаправленно действием или бездействием причинять вред человеку), обеспечить подконтрольность человеку (в той мере, в которой это возможно с учётом требуемой степени автономности систем ИИ). Также они будут регулировать недопущение противоправной манипуляции СИИ поведением человека.

Участие производителей СИИ в разработке стандартов даёт ряд очевидных преимуществ. Они смогут спроектировать свой сервис в соответствии с законом, в том числе с требованиями безопасности, а также применить свой прикладной опыт для развития продукта и инфраструктуры их разработки.

В числе других преимуществ:
– улучшение производительности и качества ИТ-продуктов и систем;
– улучшение безопасности ИТ-систем и информации;
– разработка портативности прикладного программного обеспечения;
– улучшение функциональной совместимости ИТ-продуктов и систем;
– улучшение унификации инструментов и средств разработки;
– улучшение гармонизации ИИ-словаря в здравоохранении;
– улучшение эргономичности дизайна пользовательских интерфейсов.

Заключение. В настоящий момент в России нормативно-техническое регулирование в области ИИ только начинает формироваться. Стандартизация в области ИИ в здравоохранении направлена на установку процесса испытаний СИИ, в рамках которых оцениваются их безопасность, эффективность и качество. Кроме того, унификация лучших практик позволит структурировать разработку, оценку и контроль безопасности в области технологий ИИ и повысить к ним доверие общества.

Стандарты будут предписывать не только разработку и этапы тестирований СИИ, но и весь жизненный цикл — для помощи производителям; будут применимы как в работе аккредитованных испытательных лабораторий при проведении ТИ, так и при проведении КИ в целях регистрации соответствующих СИИ как медицинских изделий.

Методологии, положенные в основу стандартов, представляют конвергенцию научно-медицинских решений в различных областях. Они позволят дать определённость в порядке клинической оценки СИИ, дадут структурированный ответ в области формирования эталонных наборов данных, включая метаданные к ним, а также относительно системы менеджмента качества и менеджмента риска применительно именно к СИИ.

 

Участие авторов. В.В.З. — концепция статьи, сбор и обработка материала, написание текста, составление списка литературы; А.Н.Х. — концепция статьи, сбор и обработка материала, написание текста, составление списка литературы; А.В.В. — концепция статьи, редактирование; Д.Е.Ш. — сбор и обработка материала, написание текста; Е.С.А. — сбор и обработка материала, редактирование; О.А.М. — редактирование; С.П.М. — редактирование.
Источник финансирования. Данная статья подготовлена авторским коллективом в рамках научно-исследовательской работы (№ЕГИСУ: АААА-А21-121012290079-2) в соответствии с Программой Департамента здравоохранения г. Москвы «Научное обеспечение столичного здравоохранения» на 2020–2022 гг.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов по представленной статье.
Благодарности. Авторы выражают глубокую благодарность за подготовку публикации К.А. Сергуновой, А.В. Гусеву и Р.В. Решетникову.

×

Об авторах

Виктория Валерьевна Зинченко

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы

Email: v.zinchenko@npcmr.ru
ORCID iD: 0000-0002-2307-725X
SPIN-код: 4188-0635
Scopus Author ID: 57191350361
Россия, г. Москва, Россия

Анна Николаевна Хоружая

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы

Email: a.khoruzhaya@npcmr.ru
ORCID iD: 0000-0003-4857-5404
SPIN-код: 7948-6427
ResearcherId: AAG-5184-2020
Россия, г. Москва, Россия

Дарья Евгеньевна Шарова

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы

Email: d.sharova@npcmr.ru
ORCID iD: 0000-0001-5792-3912
SPIN-код: 1811-7595
Россия, г. Москва, Россия

Екатерина Сергеевна Ахмад

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы

Автор, ответственный за переписку.
Email: e.ahmad@npcmr.ru
ORCID iD: 0000-0002-8235-9361
Россия, г. Москва, Россия

Олеся Александровна Мокиенко

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы

Email: o.mokienko@npcmr.ru
ORCID iD: 0000-0002-7826-5135
SPIN-код: 8088-9921
Scopus Author ID: 55155448000
ResearcherId: J-3210-2016
Россия, г. Москва, Россия

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы

Email: a.vladzimirsky@npcmr.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120
Scopus Author ID: 8944262100
ResearcherId: D-1447-2017
Россия, г. Москва, Россия

Сергей Павлович Морозов

Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы

Email: morozov@npcmr.ru
ORCID iD: 0000-0001-6545-6170
SPIN-код: 8542-1720
Scopus Author ID: 57200964938
ResearcherId: T-9163-2017
Россия, г. Москва, Россия

Список литературы

  1. Мелдо А.А., Уткин Л.В., Моисеенко В.М. Алгоритмы диагностики XXI века. Искусственный интеллект в распознавании рака лёгкого. Практич. онкол. 2018; 19 (3): 292–298. doi: 10.31917/1903292.
  2. Бородулина Е.А. Искусственный интеллект в выявлении туберкулёза: возможности и перспективы. Врач. 2020; 31 (5): 30–33. doi: 10.29296/25877305-2020-05-06.
  3. Castaldi P.J., Boueiz A., Yun J., Estepar R.S.J., Ross J.C., Washko G., Cho M.H., Hersh C.P., Kinney G.L., Young K.A., Regan E.A., Lynch D.A., Criner G.J., Dy J.G., Rennard S.I., Casaburi R., Make B.J., Crapo J., Silverman E.K., Hokanson J.E.; COPDGene Investigators. Machine Learning characterization of COPD Subtypes: insights from the COPDGene Study. Chest. 2020; 157.5: 1147–1157. doi: 10.1016/j.chest.2019.11.039.
  4. Retson T.A., Eghtedari M. Computer-Aided detection/diagnosis in breast imaging: a focus on the evolving FDA regulations for using software as a medical device. Curr. Radiol. Rep. 2020; 8: 7. doi: 10.1007/s40134-020-00350-6.
  5. Гусев А.В., Гаврилов Д.В., Корсаков И.Н., Серова Л.М., Новицкий Р.Э., Кузнецова Т.Ю. Перспективы использования методов машинного обучения для предсказания сердечно-сосудистых заболеваний. Врач и информ. технологии. 2019; (3): 41–47.
  6. He J., Baxter S.L., Xu J., Xu J., Zhou X., Zhang K. The practical implementation of artificial intelligence technologies in medicine. Nat. Med. 2019; 25: 30–36. doi: 10.1038/s41591-018-0307-0.
  7. Ranschaert E.R., Morozov S.P., Algra P.R. Artificial Intelligence in Medical Imaging. 1st ed. Springer Internatio­nal Publishing. 2019; 373 p. doi: 10.1007/978-3-319-94878-2.
  8. Гусев А.В., Добриднюк С.Л. Искусственный интеллект в медицине и здравоохранении. Информационное общество. 2017; (4–5): 78–93.
  9. Куракова Н.Г., Цветкова Л.А., Черченко О.В. Технологии искусственного интеллекта в медицине и здравоохранении: позиции России на глобальном патентном и публикационном ландшафте. Врач и информ. технологии. 2020; (2): 81–100. doi: 10.37690/1811-0193-2020-2-81-100.
  10. Мелдо А.А., Уткин Л.В., Трофимова Т.Н. Искусственный интеллект в медицине: современное состояние и основные направления развития интеллектуальной диагностики. Лучевая диагностика и терапия. 2020; (1): 9–17. doi: 10.22328/2079-5343-2020-11-1-9-17.
  11. Лебедев Г.С., Фомина И.В., Шадеркин И.А., Лисненко А.А., Рябков И.В., Качковский С.В., Мелаев Д.В. Основные направления развития интернет-технологий в здравоохранении (систематический обзор). Социал. аспекты здоровья населения. 2017; 57 (5): 10. doi: 10.21045/2071-5021-2017-57-5-10.
  12. Карпов О.Э., Клименко Г.С., Лебедев Г.С. Применение интеллектуальных систем в здравоохранении. Соврем. наукоёмкие технол. 2016; (7-1): 38–43.
  13. Гусев А.В., Зарубина Т.В. Поддержка принятия врачебных решений в медицинских информационных системах медицинской организации. Врач и информ. технол. 2017; (2): 60–72.
  14. Elenko E., Speier A., Zohar D. A regulatory framework emerges for digital medicine. Nat. Biotechnol. 2015; 33: 697–702. doi: 10.1038/nbt.3284.
  15. Hwang T.J., Kesselheim A.S., Vokinger K.N. Lifecycle regulation of artificial intelligence — and machine learning-based software devices in medicine. JAMA. 2019; 322 (23): 2285–2286. doi: 10.1001/jama.2019.16842.
  16. Goodman K.W. Ethics in health informatics. Yearbook of medical informatics. 2020; 29 (1): 26–31. doi: 10.1055/s-0040-1701966.
  17. Андреева И.Л., Натензон М.Я. Первоочередные задачи развития инновационного цифрового здравоохранения России. Пробл. стандартизации в здравоохр. 2017; (11–12): 3–9. doi: 10.26347/1607-2502201711-12003-009.
  18. IMDRF/SaMD WG/N41FINAL: 2017. Software as a Medical Device (SaMD): Clinical Evaluation. http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-170921-samd-n41-clinical-evaluation_1.pdf (­access date: 02.09.2021).
  19. Regulatory Guidelines for Software Medical Devi­ces — A Life Cycle Approach. April 2020. Singapore. https://www.hsa.gov.sg/docs/default-source/announcements/regulatory-updates/regulatory-guidelines-for-software-medical-devices--a-lifecycle-approach.pdf (access date: 02.09.2021).
  20. FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) — Discussion Paper and Request for Feedback. https://www.kslaw.com/attachments/000/007/073/original/7-1-19_Intellectual_Property___Technology_Law_Journal.pdf?1562866795 (access date: 02.09.2021).
  21. The National Artificial Intelligence Research and Development Strategy Plan (2016–2019). https://www.nitrd.gov/pubs/National-AI-RD-Strategy-2019.pdf (access date: 20.09.2021).
  22. Yaeger K.A., Martini M., Yaniv G., Oermann E.K., Costa A.B. United States regulatory approval of medical devices and software applications enhanced by artificial intelligence. Health Policy and Technology. 2019; 8 (2): 192–197. doi: 10.1016/j.hlpt.2019.05.006.
  23. AI in Korea. https://www.oecd.ai/dashboards/countries/SouthKorea (access date: 20.09.2021).
  24. On artificial intelligence — A European approach to excellence and trust. https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en (access date: 20.09.2021).
  25. Schneeberger D., Stöger K., Holzinger A. The European Legal Framework for Medical AI. In: Lecture Notes in Computer Science. Vol. 12 279, Machine learning and knowledge extraction. 2020; 209–226. doi: 10.1007/978-3-030-57321-8.
  26. In their own words — New Generation Artificial Intelligence Development Plan. https://www.airuniversity.af.edu/CASI/Display/Article/2521258/in-their-own-words-new-generation-artificial-intelligence-development-plan/ (access date: 20.09.2021).
  27. Reddy S., Allan S., Coghlan S., Cooper P. A governance model for the application of AI in health care. J. Am. Med. Inform. Assoc. 2020; 27 (3): 491–497. doi: 10.1093/jamia/ocz192.
  28. Паспорт национальной программы «Цифровая экономика Российской Федерации» (утв. президиумом Совета при Президенте Российской Федерации по стратегическому развитию и национальным проектам, протокол от 24 декабря 2018 г. №16). http://government.ru/info/35568/ (дата обращения: 03.09.2021). DOI: http://dx.doi.org/10.2471/BLT.13.020813.
  29. Приказ Росстандарта от 25 июля 2019 г. №1732 «О создании технического комитета по стандартизации “Искусственный интеллект”». http://www.consultant.ru/cons/cgi/online.cgi?req=doc&base=EXP&n=735452#4SISMoSvOiyks9EN (дата обращения: 03.09.2021).
  30. Приказ технического комитета по стандартизации «Искусственный интеллект» от 13 января 2020 г. №1 «Об определении базовой организации подкомитета “Искусственный интеллект в здравоохранении”». https://tele-med.ai/media/uploads/2021/03/18/01_-2-2.pdf (дата обращения: 03.09.2021).
  31. Решение Совета Евразийской экономической комиссии от 12 февраля 2016 г. №29 «О правилах проведения клинических и клинико-лабораторных испытаний (исследований) медицинских изделий». https://docs.eaeunion.org/docs/ru-ru/01410222/cncd_17052016_29 (дата обращения: 20.09.2021).
  32. Решение Совета Евразийской экономической комиссии от 12.02.2016 №28 «Об утверждении Правил проведения технических испытаний медицинских изделий». https://docs.eaeunion.org/docs/ru-ru/01410219/cncd_17052016_28 (дата обращения: 20.09.2021).
  33. Белоусов Д.Ю., Зырянов С.К., Колбин А.С. Управление клиническими исследованиями. 1-е изд. М.: Буки Веди, Издательство ОКИ. 2017; 676 с.
  34. Pesapane F., Volonté C., Codari M., Sardanelli F. Artificial intelligence as a medical device in radiology: ­ethical and regulatory issues in Europe and the Uni­ted States. Insights Imaging. 2018; 9: 745–753. doi: 10.1007/s13244-018-0645-y.
  35. Marc D.K., Ronald M.S., Raymond G. Medical ­image data and datasets in the era of machine learning — whitepaper from the 2016 C-MIMI Meeting Dataset Session. J. Digit. Imaging. 2017; 30: 392–399. doi: 10.1007/s10278-017-9976-3.
  36. Gerke S., Minssen T., Cohen G. Ethical and legal challenges of artificial intelligence-driven healthcare. In: Artificial Intelligence in Healthcare. Academic Press. 2020; 295–336. doi: 10.1016/B978-0-12-818438-7.00012-5.
  37. Куприяновский В.П., Ярцев Д.И., Уткин Н.А., Намиот Д.Е. Экономика стандартизации в цифровую эпоху и информационно-коммуникационные технологии на примере Британского института стандартов. Intern. J. Open Inform. Technol. 2016; 4 (6): 1–9.
  38. Гусев А.В., Плисс М.А. Основные рекомендации к созданию и развитию информационных систем в здравоохранении на базе искусственного интеллекта. Врач и информ. технологии. 2018; (3): 45–60.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Семь разрабатываемых стандартов в области регулирования систем искусственного интеллекта (СИИ); ГОСТ — государственный стандарт [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

Скачать (43KB)
Метаданные
3. Рис. 2. Этапы клинической оценки систем искусственного интеллекта (СИИ); ПО — программное обеспечение; НПА — нормативно-правовые акты [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

Скачать (78KB)
Метаданные
4. Рис. 3. Процесс подготовки набора данных для обучения и тестирования систем искусственного интеллекта [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

Скачать (28KB)
Метаданные
5. Рис. 4. Процессы жизненного цикла систем искусственного интеллекта; ИИ — искусственный интеллект [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

Скачать (39KB)
Метаданные
6. Рис. 5. Перспективная программа стандартизации в области медицинских изделий на период 2020–2027 гг.; ГОСТ — государственный стандарт; ЖЦ — жизненный цикл; СМК — система менеджмента качества; СИИ — система искусственного интеллекта; СППВР — система поддержки принятия врачебных решений [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

Скачать (99KB)
Метаданные

© Эко-Вектор, 2021


СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: ЭЛ № ФС 77 - 75008 от 01.02.2019.