Standardization in regulating artificial intelligence systems in Russian healthcare

Cover Page


Cite item

Full Text

Abstract

Artificial intelligence technologies in medical practice are a promising direction in the world. Artificial intelligence medical decision support systems, diagnostic and screening programs can help medical personnel in routine and complex tasks and improve the level of medical care provided to patients. At the same time, the development, production and distribution of artificial intelligence systems must be regulated without fail. Registration and subsequent control (post-registration monitoring) of artificial intelligence systems in medicine require the creation, adjustment of the legal framework and technological regulation. The Russian Federation has developed a promising development strategy in this area. Seven national standards have been developed by experts in the field of Artificial intelligence in healthcare. These standards establish the procedures for conducting clinical and technical trials, performance requirements and the concept of life cycle, a quality management system and risk management. A separate standards is devoted to dataset creation for training and testing the developed algorithms, requirements for them and a metadata format. There are plans to bring the developed national standards to the international level, which will allow Russian manufacturers of artificial intelligence systems implemented these national standards to comply with foreign counterparts and become more competitive at the international level. The international community has already supported the development of an ISO standard based on the national standard for clinical trials. The development will be performed based on the technical committee ISO/TC 215 (Health informatics) in conjunction with ISO/IEC JTC 1/SC 42 (Artificial intelligence), this will allow bringing the national requirements for the Artificial intelligence to the international level. The cycle of these standards will summarize recognized methodologies, helping both manufacturers and medical organizations, doctors and patients to produce and use a quality, safe and effective product.

Full Text

Введение. Появляется всё больше доказательств того, что технологии искусственного интеллекта (ИИ) имеют потенциал стать эффективным помощником врача в диагностике заболеваний лёгких (рака лёгкого [1], туберкулёза [2] и прочих лёгочных болезней [3]), рака молочной железы [4], сердечно-сосудистых заболеваний [5] и многих других видов патологии [6–10]. Проработаны направления внедрения технологий ИИ в Российской Федерации, включающие решения в сфере навигации пациента в системе здравоохранения, поддержке принятия решений в области управления здравоохранением, а также в области поддержки принятия врачебных решений [11–13].

Кроме того, системы на основе искусственного интеллекта (СИИ) уже получают практическое применение. В частности, в Российской Федерации системы поддержки принятия врачебных решений, скрининговые системы уже зарегистрированы в качестве медицинского изделия и внедряются во врачебную практику.

Однако актуальными остаются проблемы, мешающие широкому распространению СИИ в практике здравоохранения [14].

Во-первых, возможно возникновение ошибок в работе моделей ИИ в условиях реальной клинической практики, что может быть связано с недостаточным качеством выборки данных, которую разработчики используют для обучения СИИ. Поскольку на данный момент нет требований к полноте и прозрачности документации СИИ, пользователи не могут удостовериться в соответствии обучающей выборки и данных пациентов реальной популяции.

Во-вторых, активно обсуждается защита персональных данных в эпоху информационных технологий, так как информация о пациентах используется как для обучения и тестирования СИИ, так и для их эксплуатации [15].

В-третьих, наибольшая проблема широкого внедрения СИИ — отсутствие полного доверия к ним врачей и пациентов [16].

СИИ представляют собой подобие «чёрного ящика», то есть алгоритм принятия решения не прозрачен как для самого медицинского специалиста, так и для пациента, потому что врач не может полностью раскрыть информацию о лечении по причине непрозрачности решения СИИ.

Особое внимание при разработке и использовании СИИ следует уделять безопасности для пациентов, этот аспект также напрямую влияет на доверие к технологии. С целью повышения доверия устанавливается порядок оценки качества, эффективности и безопасности работы программного обеспечения как медицинского изделия, в том числе СИИ. Введённым приказом Министерства здравоохранения Российской Федерации от 07.07.2020 №686н СИИ отнесены к 3-му классу — программному обеспечению с высокой степенью риска. Таким образом, контрольно-надзорные мероприятия должны быть выстроены с учётом всех особенностей и проблематик данного направления.

Все эти аспекты указывают на необходимость усовершенствования регламентирующих документов [17] и нормативных актов, которые будут устанавливать единые положения к формированию эксплуатационной документации СИИ, регламентировать порядок тестирования СИИ и определять параметры наборов данных, используемые при обучении и тестировании.

Целью данного литературного обзора стало исследование существующей на данный момент нормативно-правовой базы в области регулирования СИИ в мире, а также представление российского опыта создания первых национальных стандартов, которые будут устанавливать технические нормативы для разработки и применения технологий ИИ в здравоохранении.

Поиск литературы проводили в базах данных PubMed, Google Scholar и eLibrary на английском и русском языках. Также использовали международные нормативные документы IMDRF, Health Sciences Authority, FDA, международные обзоры и национальные стратегии в области ИИ ряда государств. Для поиска в PubMed и Google Scholar использовали запросы: «Artificial Intelligence/standardization», «Artificial Intelligence/legislation and jurisprudence», «systematic reviews», «Artificial Intelligence/clinical assessment».

Поиск в eLibrary проводили по ключевым словам «медицинское изделие на основе технологий искусственного интеллекта», «клинические испытания медицинских изделий на основе технологий искусственного интеллекта», «технические испытания медицинских изделий на основе технологий искусственного интеллекта», «клиническая оценка медицинских изделий» в связи со спецификой нормативно-правового регулирования в России.

Критерии включения: актуальные обзоры и нормативные документы, посвящённые использованию СИИ в системе здравоохранения, на английском или русском языке.

Критерии исключения: полный текст документа недоступен либо данные, приведённые в тексте, утратили достоверность/актуальность, научные статьи опубликованы в срок более 5 лет назад.

Международное регулирование систем на основе ИИ в медицине. На текущий момент нет полноценной нормативно-правовой базы, систем контроля и достаточного опыта работы в области технологий ИИ в мире. Для примера, директивы ведущего мирового сообщества компетентных органов в сфере регулирования медицинских изделий разных стран мира (IMDRF — от англ. International Medical Device Regulators Forum) [18], а также нормативное руководство Health Sciences Authority (Сингапур) описывают жизненный цикл и подходы к оценке программного обеспечения как медицинского изделия, но они не учитывают особенности технологий ИИ [19].

Относительно национальных стратегий в области ИИ ряд государств разработал свои документы. В США представлен документ для обсуждения в области СИИ «The national artificial intelligence research and development strategic plan: 2019 update», в котором указан стратегический план развития по следующим направлениям [20]:
– призыв к долгосрочным инвестициям в исследованиях ИИ;
– направленность на разработку эффективных методов взаимодействия человека и ИИ;
– понимание и устранение этических, правовых и социальных последствий ИИ;
– обеспечение безопасности СИИ;
– разработка общедоступных наборов данных для обучения и тестирования ИИ;
– призыв к измерению и оценке технологии ИИ с помощью стандартов и норм;
– лучшее понимание национальных потребностей сотрудников в научно-исследовательских и опытно-конструкторских учреждениях в области ИИ;
– расширение государственно-частного партнёрства для ускорения прогресса в области ИИ [21].

Внедрённые новые подходы регулирования программного обеспечения, являющегося медицинским изделием, в FDA предполагает большее внимание уделять не конечному продукту, а изготовителю (разработчику) [22]. Так FDA сможет предварительно сертифицировать разработчика программного обеспечения (в том числе в области ИИ), который ранее продемонстрировал «культуру качества и организационного превосходства на основе объективных критериев», и сможет выходить на рынок с низким уровнем риска без обширного разрешения FDA.

В южнокорейском документе представлены все национальные стратегии, обозначенные следующим образом: «Если мы сосредоточим нашу национальную поддержку на сильных сторонах нашей политики, мы сможем сократить разрыв с мировыми лидерами в области ИИ. С этой целью правительство представляет национальное видение и общенациональные планы действий для нового скачка вперёд в нашей экономике и улучшении общества, используя преимущества цивилизационных изменений с помощью ИИ как прекрасную возможность» [23].

Евросоюз в 2020 г. опубликовал книгу «On Artificial Intelligence — A European approach to excellence and trust» [24], в которой предложен общий подход Евросоюза к развитию ИИ и способам формирования доверия к этой технологии. Эксперты видят большой потенциал в продвижении концепции обеспечения доверия к ИИ за счёт информирования пациента и врачей о функциональности ИИ, о том, как будут использоваться данные, и т.д. [25]. Документ «New Generation Artificial Intelligence Development Plan» [26] представил в 2017 г. Китай. В документе изложена проектная схема высшего уровня, в которой отражён подход страны к разработке технологий и приложений ИИ и определены общие цели до 2030 г. Отдельно поднимается вопрос обеспечения юридических и этических норм применения ИИ [27], который выходит за рамки данной работы.

Регулирующие документы для систем искусственного интеллекта в здравоохранении в России, опыт создания первых национальных стандартов. Нормативно-правовая база России в области ИИ и медицинских изделий также только начинает формироваться. Согласно Указу Президента РФ от 10.10.2019 №490 «О развитии искусственного интеллекта в Российской Федерации», Национальной стратегией развития ИИ на период до 2030 г. определены задачи развития искусственного интеллекта в России, к которым относятся следующие:
1) поддержка научных исследований в целях обеспечения опережающего развития ИИ;
2) разработка и развитие программного обеспечения, в котором используются технологии ИИ;
3) повышение доступности и качества данных, необходимых для развития технологий ИИ;
4) повышение доступности аппаратного обеспечения, необходимого для решения задач в области ИИ;
5) повышение уровня обеспечения российского рынка технологий ИИ квалифицированными кадрами и уровня информированности населения о возможных сферах использования таких технологий;
6) создание комплексной системы регулирования общественных отношений, возникающих в связи с развитием и использованием технологий ИИ.

Во исполнение вышеуказанной стратегии разработан и 31 августа 2020 г. Правительственной комиссией по цифровому развитию утверждён паспорт федерального проекта «Искусственный интеллект» в рамках национальной программы «Цифровая экономика» [28]. Также в рамках стандартизации в области ИИ создан технический комитет 164 в качестве «зеркального органа» международного технического подкомитета SC42 «Искусственный интеллект», который входит в состав международного объединённого технического комитета ISO/IEC JTC1 «Информационные технологии» [29].

Приказом Росстандарта №3471 от 31 декабря 2019 г. на базе технического комитета 164 создан подкомитет 01 «Искусственный интеллект в здравоохранении» (ПК 01) [30].

Цель деятельности ПК 01, в состав которого вошли как исследователи из различных научных и клинических подразделений, так и разработчики СИИ, — координация работ по унификации и стандартизации требований, используемых при разработке, тестировании и эксплуатации СИИ в здравоохранении. В 2020 г. ПК 01 инициировал разработку первых семи национальных стандартов, которые будут регулировать ключевые аспекты применения ИИ в здравоохранении и его роли в принятии врачебных решений.

– Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания.
– Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний.
– Системы искусственного интеллекта в клинической медицине. Часть 3. Управление изменениями в системах искусственного интеллекта с адаптивными алгоритмами.
– Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров.
– Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к стру­ктуре и порядку применения набора данных для обучения и тестирования алгоритмов.
– Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации.
– Системы искусственного интеллекта в клинической медицине. Часть 7. Процессы жизненного цикла.

На основе стандарта «Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания» (от лица экспертов ПК 01) инициирована разработка международного стандарта по клинической оценке программного обеспечения на базе ИИ ISO «Artificial Intelligence (AI) — Software testing of AI medical devices. Part 1: Clinical evaluation». Инициатива была включена в повестку пленарной сессии, прошедшей с 19 по 30 октября 2020 г. По итогу рассмотрения странами-членами ISO было принято единогласное решение о разработке вышеуказанного стандарта. Работа будет вестись на базе технического комитета ISO/TC 215 (Health informatics) совместно с ISO/IEC JTC 1/SC 42 (Artificial intelligence). На рис. 1 представлены текущие этапы работы над семью основополагающими стандартами.

 

Рис. 1. Семь разрабатываемых стандартов в области регулирования систем искусственного интеллекта (СИИ); ГОСТ — государственный стандарт [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

 

Стандарт будет устанавливать правила проведения клинических испытаний (КИ) с целью регистрации СИИ как медицинского изделия, проводить испытания могут только медицинские организации, входящие в реестр Росздравнадзора и имеющие лицензию на данный вид деятельности. В стандарте подробно представлена методология проведения КИ, которая служит частью клинической оценки СИИ. При составлении и разработке документа эксперты ПК 01 основывались на международных документах, проектах в области регулирования СИИ, а также российских нормативных правовых актах и других работ [25–27, 31–33]. На рис. 2 представлена методология оценки СИИ в рамках технических испытаний (ТИ) и КИ.

 

Рис. 2. Этапы клинической оценки систем искусственного интеллекта (СИИ); ПО — программное обеспечение; НПА — нормативно-правовые акты [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

 

Согласно представленной методологии клиническая оценка включает три составляющих:
1) клиническую связь — подтверждение научной обоснованности между результатами и назначением СИИ;
2) аналитическую валидацию — подтверждение точно, воспроизводимо и надёжно ли СИИ обрабатывает входные данные для создания надёжных выходных данных;
3) клиническую валидацию — подтверждение способности СИИ выдавать клинически значимые выходные результаты, связанные с целевым использованием выходных данных входе клинической практики.

В рамках данного стандарта и согласно нормативным предписаниям необходимо разрабатывать и оценивать СИИ в соответствии с требованиями безопасности и качества, особенно для врачей и других представителей медицины. СИИ должна быть «прозрачной» в понимании для медицинских работников и защищать интересы врачей и пациентов в области конфиденциальности личной информации. Только в этом случае удастся наладить доверительные отношения между врачами, пациентами и разработчиками [28–30,  34–36].

Также для повышения доверия к ИИ должны быть чётко сформулированы требования к наборам данных, применяемых при испытаниях СИИ. Поскольку данному аспекту полностью посвящён стандарт «Часть 5», в «Части 1» кратко описаны требования к порядку формирования наборов данных для проведения тестирований, а также стандартный набор показателей для оценки эффективности СИИ в рамках клинической валидации. Основными показателями в области оценки СИИ в рамках КИ представляются чувствительность, специфичность, прогностическая ценность положительного результата, прогностическая ценность отрицательного результата и др. [18].

Рассматривается понятие системы менеджмента качества, которая должна быть внедрена в работу разработчика СИИ согласно действующим нормативным правовым актам и подтверждена соответствующими сертификатами. Наличие системы менеджмента качества для регистрирующего органа (Росздравнадзора) и медицинских организаций, приобретающих медицинские изделия (потребителей) после выхода на рынок, служит важным показателем доверия к разработанному продукту.

ГОСТ Р «Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний». Для регистрации СИИ в качестве медицинского изделия и получения регистрационного удостоверения производитель должен пройти несколько этапов, первый из которых — ТИ. В ходе ТИ СИИ проверяют на качество, а также соответствие заявленной нормативной документации. Изучают эксплуатационную и техническую документацию от производителя СИИ, проводят или проверяют испытания согласно методике ТИ для конкретной СИИ. В ходе ТИ СИИ выполняют проверку соответствия стандартам безопасности, качества, менеджмента риска, системы менеджмента качества. Успешное прохождение ТИ даёт возможность производителям СИИ перей­ти к этапу прохождения КИ.

ГОСТ Р «Системы искусственного интеллекта в клинической медицине. Часть 5. ­Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов». Для достоверного и качественного проведения ТИ и КИ необходимы разработка дизайна испытаний и создание набора данных для тестирований. В «Части 5» поэтапно указаны требования к содержанию набора данных, его созданию и важности деидентификации данных, а также контроля качества и государственной регистрации верифицированного набора данных. Отдельная глава посвящена системе менеджмента качества при разработке, тестировании и обучении набора данных. В приложениях к стандарту приведен разработанный список метаданных для помощи в создании наборов данных как медицинским организациям для тестирования СИИ, проводящим испытания, так и производителям для обучения алгоритмов.

На рис. 3 представлен процесс подготовки набора данных, который может быть изменён в условиях конкретных задач.

 

Рис. 3. Процесс подготовки набора данных для обучения и тестирования систем искусственного интеллекта [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

 

За исключением указанных выше стандартов, разработаны стандартизирующие подходы к управлению изменениями СИИ с адаптивными алгоритмами, оценке и контролю эксплуатационных параметров, в целом понятию жизненного цикла СИИ (рис. 4) и другие основополагающие моменты. Всё вышеперечисленное необходимо для обеспечения должного качества, эффективности и безопасности работы СИИ, воспроизводимости результатов, от чего зависит, в том числе, дальнейшее развитие здравоохранения.

 

Рис. 4. Процессы жизненного цикла систем искусственного интеллекта; ИИ — искусственный интеллект [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

 

В феврале 2020 г. Росстандартом была принята «Перспективная программа стандартизации на период 2020–2027 гг.» Согласно ей, за 7 лет эксперты ПК 01 планируют разработать порядка 50 стандартов в сфере медицины и здравоохранения по 10 основным направлениям (рис. 5).

 

Рис. 5. Перспективная программа стандартизации в области медицинских изделий на период 2020–2027 гг.; ГОСТ — государственный стандарт; ЖЦ — жизненный цикл; СМК — система менеджмента качества; СИИ — система искусственного интеллекта; СППВР — система поддержки принятия врачебных решений [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

 

В соответствии с планом сначала будут разработаны основополагающие стандарты, регулирующие общие требования к СИИ, использующиеся в здравоохранении. Эксперты уже приступили к созданию ряда национальных стандартов для конкретных областей медицины: лучевой и функциональной диагностики, гистологии, систем дистанционного мониторинга, систем поддержки принятия врачебных решений, обработки больших данных, реконструкции изображений, аналитики и прогнозирования, а также образовательных программ в здравоохранении.

Ранее было показано, что подобные документы играют важную экономическую роль — они становятся катализаторами инновационной деятельности [37]. Стандарты создают условия для разработки инновационных продуктов и облегчают их выход на рынки, способствуя распространению среди целевой аудитории. Кроме того, они регулируют правила инновационных «соревнований», уравнивая между собой небольшие компании и крупные технологические корпорации.

Помимо этого, ранее было показано [38], что введение стандартов способно повысить доверие в цепочке «клиент-поставщик» и улучшить взаимоотношения между разработчиками и пользователями инновационных продуктов.

Обсуждение: значение национальных стандартов в области здравоохранения, перспективы правового регулирования. Нормативно-правовая база для разработки и применения СИИ в области здравоохранения находится на начальных этапах своего развития. Текущий недостаток стандартизации приводит к затруднению и подчас невозможности сравнения различных обучающих наборов данных, а также характеристик самих СИИ. В настоящий момент ни один из зарубежных регулирующих органов не имеет надлежащей экспертизы в области технологий ИИ. В этом аспекте опыт России признан международным сообществом в лице ISO передовым, поскольку в настоящее время идёт разработка нормативно-правовой базы и основополагающих стандартов, непосредственно для СИИ.

Использование разработчиками СИИ стандартов имеет несколько важных преимуществ. Во-первых, это и поддержка конкуренции: обеспечение равных для всех условий доступа к данным, необходимым для разработки СИИ, возможностей для применения экспериментальных правовых режимов и мер государственной поддержки. Во-вторых, это снижение издержек на производстве, повышение имиджа компании, выпуск качественной и безопасной продукции, социально-ориентированный характер СИИ: приоритет благополучия человека (цель обеспечения благополучия и безопасности человека должна преобладать над иными целями разработки и применения СИИ).

Стандарты позволят минимизировать вероятность причинения вреда вследствие некачественной или вредной работы СИИ (следует не допускать разработку, оборот и применение СИИ, способных по своей инициативе целенаправленно действием или бездействием причинять вред человеку), обеспечить подконтрольность человеку (в той мере, в которой это возможно с учётом требуемой степени автономности систем ИИ). Также они будут регулировать недопущение противоправной манипуляции СИИ поведением человека.

Участие производителей СИИ в разработке стандартов даёт ряд очевидных преимуществ. Они смогут спроектировать свой сервис в соответствии с законом, в том числе с требованиями безопасности, а также применить свой прикладной опыт для развития продукта и инфраструктуры их разработки.

В числе других преимуществ:
– улучшение производительности и качества ИТ-продуктов и систем;
– улучшение безопасности ИТ-систем и информации;
– разработка портативности прикладного программного обеспечения;
– улучшение функциональной совместимости ИТ-продуктов и систем;
– улучшение унификации инструментов и средств разработки;
– улучшение гармонизации ИИ-словаря в здравоохранении;
– улучшение эргономичности дизайна пользовательских интерфейсов.

Заключение. В настоящий момент в России нормативно-техническое регулирование в области ИИ только начинает формироваться. Стандартизация в области ИИ в здравоохранении направлена на установку процесса испытаний СИИ, в рамках которых оцениваются их безопасность, эффективность и качество. Кроме того, унификация лучших практик позволит структурировать разработку, оценку и контроль безопасности в области технологий ИИ и повысить к ним доверие общества.

Стандарты будут предписывать не только разработку и этапы тестирований СИИ, но и весь жизненный цикл — для помощи производителям; будут применимы как в работе аккредитованных испытательных лабораторий при проведении ТИ, так и при проведении КИ в целях регистрации соответствующих СИИ как медицинских изделий.

Методологии, положенные в основу стандартов, представляют конвергенцию научно-медицинских решений в различных областях. Они позволят дать определённость в порядке клинической оценки СИИ, дадут структурированный ответ в области формирования эталонных наборов данных, включая метаданные к ним, а также относительно системы менеджмента качества и менеджмента риска применительно именно к СИИ.

 

Участие авторов. В.В.З. — концепция статьи, сбор и обработка материала, написание текста, составление списка литературы; А.Н.Х. — концепция статьи, сбор и обработка материала, написание текста, составление списка литературы; А.В.В. — концепция статьи, редактирование; Д.Е.Ш. — сбор и обработка материала, написание текста; Е.С.А. — сбор и обработка материала, редактирование; О.А.М. — редактирование; С.П.М. — редактирование.
Источник финансирования. Данная статья подготовлена авторским коллективом в рамках научно-исследовательской работы (№ЕГИСУ: АААА-А21-121012290079-2) в соответствии с Программой Департамента здравоохранения г. Москвы «Научное обеспечение столичного здравоохранения» на 2020–2022 гг.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов по представленной статье.
Благодарности. Авторы выражают глубокую благодарность за подготовку публикации К.А. Сергуновой, А.В. Гусеву и Р.В. Решетникову.

×

About the authors

V. V. Zinchenko

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department

Email: v.zinchenko@npcmr.ru
ORCID iD: 0000-0002-2307-725X
SPIN-code: 4188-0635
Scopus Author ID: 57191350361
Russian Federation, Moscow, Russia

A N Khoruzhaya

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department

Email: a.khoruzhaya@npcmr.ru
ORCID iD: 0000-0003-4857-5404
SPIN-code: 7948-6427
ResearcherId: AAG-5184-2020
Russian Federation, Moscow, Russia

D E. Sharova

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department

Email: d.sharova@npcmr.ru
ORCID iD: 0000-0001-5792-3912
SPIN-code: 1811-7595
Russian Federation, Moscow, Russia

E S Akhmad

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department

Author for correspondence.
Email: e.ahmad@npcmr.ru
ORCID iD: 0000-0002-8235-9361
Russian Federation, Moscow, Russia

O A Mokienko

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department

Email: o.mokienko@npcmr.ru
ORCID iD: 0000-0002-7826-5135
SPIN-code: 8088-9921
Scopus Author ID: 55155448000
ResearcherId: J-3210-2016
Russian Federation, Moscow, Russia

A V Vladzymyrskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department

Email: a.vladzimirsky@npcmr.ru
ORCID iD: 0000-0002-2990-7736
SPIN-code: 3602-7120
Scopus Author ID: 8944262100
ResearcherId: D-1447-2017
Russian Federation, Moscow, Russia

S P Morozov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department

Email: morozov@npcmr.ru
ORCID iD: 0000-0001-6545-6170
SPIN-code: 8542-1720
Scopus Author ID: 57200964938
ResearcherId: T-9163-2017
Russian Federation, Moscow, Russia

References

  1. Meldo A.A., Utkin L.V., Moiseyenko V.M. XXI century diagnostic algorithms. Artifitial intelligance in lung cancer detection. Prakticheskaya onkologiya. 2018; 19 (3): 292–298. (In Russ.) doi: 10.31917/1903292.
  2. Borodulina E.A. Artificial intelligence in tuberculosis detection. Opportunities and prospects. The Doctor. 2020; 31 (5): 30–33. (In Russ.) doi: 10.29296/25877305-2020-05-06.
  3. Castaldi P.J., Boueiz A., Yun J., Estepar R.S.J., Ross J.C., Washko G., Cho M.H., Hersh C.P., Kinney G.L., Young K.A., Regan E.A., Lynch D.A., Criner G.J., Dy J.G., Rennard S.I., Casaburi R., Make B.J., Crapo J., Silverman E.K., Hokanson J.E.; COPDGene Investigators. Machine Learning characterization of COPD Subtypes: insights from the COPDGene Study. Chest. 2020; 157.5: 1147–1157. doi: 10.1016/j.chest.2019.11.039.
  4. Retson T.A., Eghtedari M. Computer-Aided detection/diagnosis in breast imaging: a focus on the evolving FDA regulations for using software as a medical device. Curr. Radiol. Rep. 2020; 8: 7. doi: 10.1007/s40134-020-00350-6.
  5. Gusev A.V., Gavrilov D.V., Korsakov I.N., Serova L.M., Novitsky R.E., Kuznetsova T.Yu. Prospects for the use of machine learning methods for predicting cardiovascular disease. Vrach i informatsionnye tekhnologii. 2019; (3): 41–47. (In Russ.)
  6. He J., Baxter S.L., Xu J., Xu J., Zhou X., Zhang K. The practical implementation of artificial intelligence technologies in medicine. Nat. Med. 2019; 25: 30–36. doi: 10.1038/s41591-018-0307-0.
  7. Ranschaert E.R., Morozov S.P., Algra P.R. Artificial Intelligence in Medical Imaging. 1st ed. Springer Internatio­nal Publishing. 2019; 373 p. doi: 10.1007/978-3-319-94878-2.
  8. Gusev A.V., Dobridnyuk S.L. Artificial intelligence in medicine and healthcare. Informatsionnoe obshchestvo. 2017; (4–5): 78–93. (In Russ.)
  9. Kurakova N.G., Tsvetkova L.A., Cherchenko O.V. Artificial intelligence techno­logies in medicine and healthcare: Russia's position on the global patent and publication landscape. Vrach i informa­tsionnye tekhnologii. 2020; (2): 81–100. (In Russ.) doi: 10.37690/1811-0193-2020-2-81-100.
  10. Meldo A.A., Utkin L.V., Trofimova T.N. Artificial intelligence in medicine: current state and main directions of development of the intellectual diagnostics. Luchevaya diagnostika i terapiya. 2020; (1): 9–17. (In Russ.) doi: 10.22328/2079-5343-2020-11-1-9-17.
  11. Le­bedev G.S., Fomina I.V., Shaderkin I.A., Lisnenko A.A., Ryabkov I.V., Kachkovskiy S.V., Melaev D.V. Main directions for development of internet-technologies in health care (systematic review). Social aspects of population health. 2017; 57 (5): 10. (In Russ.) doi: 10.21045/2071-5021-2017-57-5-10.
  12. Karpov O.E., Klimenko G.S., Lebеdev G.S. Application of intelligent systems in health care. Modern high technologies. 2016; (7-1): 38–43. (In Russ.)
  13. Gusev A.V., Zarubina T.V. Clinical Decisions Support in medical information systems of a medical organization. Vrach i informatsionnye tekhnologii. 2017; (2): 60–72. (In Russ.)
  14. Elenko E., Speier A., Zohar D. A regulatory framework emerges for digital medicine. Nat. Biotechnol. 2015; 33: 697–702. doi: 10.1038/nbt.3284.
  15. Hwang T.J., Kesselheim A.S., Vokinger K.N. Lifecycle regulation of artificial intelligence — and machine learning-based software devices in medicine. JAMA. 2019; 322 (23): 2285–2286. doi: 10.1001/jama.2019.16842.
  16. Goodman K.W. Ethics in health informatics. Yearbook of medical informatics. 2020; 29 (1): 26–31. doi: 10.1055/s-0040-1701966.
  17. Andreeva I.L., Natenzon M.Y. Priorities for the development of innovative digital healthcare in Russia. Health care standardization problems. 2017; (11–12): 3–9. (In Russ.) doi: 10.26347/1607-2502201711-12003-009.
  18. IMDRF/SaMD WG/N41FINAL: 2017. Software as a Medical Device (SaMD): Clinical Evaluation. http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-170921-samd-n41-clinical-evaluation_1.pdf (­access date: 02.09.2021).
  19. Regulatory Guidelines for Software Medical Devi­ces — A Life Cycle Approach. April 2020. Singapore. https://www.hsa.gov.sg/docs/default-source/announcements/regulatory-updates/regulatory-guidelines-for-software-medical-devices--a-lifecycle-approach.pdf (access date: 02.09.2021).
  20. FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) — Discussion Paper and Request for Feedback. https://www.kslaw.com/attachments/000/007/073/original/7-1-19_Intellectual_Property___Technology_Law_Journal.pdf?1562866795 (access date: 02.09.2021).
  21. The National Artificial Intelligence Research and Development Strategy Plan (2016–2019). https://www.nitrd.gov/pubs/National-AI-RD-Strategy-2019.pdf (access date: 20.09.2021).
  22. Yaeger K.A., Martini M., Yaniv G., Oermann E.K., Costa A.B. United States regulatory approval of medical devices and software applications enhanced by artificial intelligence. Health Policy and Technology. 2019; 8 (2): 192–197. doi: 10.1016/j.hlpt.2019.05.006.
  23. AI in Korea. https://www.oecd.ai/dashboards/countries/SouthKorea (access date: 20.09.2021).
  24. On artificial intelligence — A European approach to excellence and trust. https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en (access date: 20.09.2021).
  25. Schneeberger D., Stöger K., Holzinger A. The European Legal Framework for Medical AI. In: Lecture Notes in Computer Science. Vol. 12 279, Machine learning and knowledge extraction. 2020; 209–226. doi: 10.1007/978-3-030-57321-8.
  26. In their own words — New Generation Artificial Intelligence Development Plan. https://www.airuniversity.af.edu/CASI/Display/Article/2521258/in-their-own-words-new-generation-artificial-intelligence-development-plan/ (access date: 20.09.2021).
  27. Reddy S., Allan S., Coghlan S., Cooper P. A governance model for the application of AI in health care. J. Am. Med. Inform. Assoc. 2020; 27 (3): 491–497. doi: 10.1093/jamia/ocz192.
  28. Passport of the national program “Digital Economy of the Russian Fe­deration” (approved by the Presidium of the Council under the President of the Russian Federation for Strategic Development and National Projects, minutes of December 24, 2018 No. 16). http://government.ru/info/35568/ (access date: 03.09.2021). DOI: http://dx.doi.org/10.2471/BLT.13.020813.
  29. The Order of the Federal Agency for Technical Regulation and Metrology №1732, issued at 25.07.2019 “On the creation of a technical committee for standardization “Artificial Intelligence””. http://www.consultant.ru/cons/cgi/online.cgi?req=doc&base=EXP&n=735452#4SISMoSvOiyks9EN (access date: 03.09.2021). (In Russ.)
  30. Order of the Technical Committee for Standardization ‘Artificial Intelligence” No. 1, issued at January 13, 2020 “On the definition of the basic organization of the subcommittee “Artificial Intelligence in Healthcare””. https://tele-med.ai/media/uploads/2021/03/18/01_-2-2.pdf (access date: 03.09.2021). (In Russ.)
  31. Decision of the Council of the Eurasian Economic Commission No. 29, issued at February 12, 2016 “On the rules for conducting clinical and cli­nical laboratory tests (research) of medical devices”. https://docs.eaeunion.org/docs/ru-ru/01410222/cncd_17052016_29 (access date: 20.09.2021). (In Russ.)
  32. Decision of the Council of the Eurasian Economic Commission No. 28, issued at 12.02.2016 “On approval of the Rules for conducting technical tests of medical devices”. https://docs.eaeunion.org/docs/ru-ru/01410219/cncd_17052016_28 (access date: 20.09.2021). (In Russ.)
  33. Belousov D.Yu., Zyryanov S.K., Kolbin A.S. Upravlenie klinicheskimi issledovaniyami. (Clinical research management.) 1st ed. M.: Buki Vedi, Izdatel'stvo OKI. 2017; 676 p. (In Russ.)
  34. Pesapane F., Volonté C., Codari M., Sardanelli F. Artificial intelligence as a medical device in radiology: ­ethical and regulatory issues in Europe and the Uni­ted States. Insights Imaging. 2018; 9: 745–753. doi: 10.1007/s13244-018-0645-y.
  35. Marc D.K., Ronald M.S., Raymond G. Medical ­image data and datasets in the era of machine learning — whitepaper from the 2016 C-MIMI Meeting Dataset Session. J. Digit. Imaging. 2017; 30: 392–399. doi: 10.1007/s10278-017-9976-3.
  36. Gerke S., Minssen T., Cohen G. Ethical and legal challenges of artificial intelligence-driven healthcare. In: Artificial Intelligence in Healthcare. Academic Press. 2020; 295–336. doi: 10.1016/B978-0-12-818438-7.00012-5.
  37. Kupriyanovsky V.P., Yartsev D.I., Utkin N.A., Namiot D.E. Eco­nomy standards in the digital age and information and communication technologies on the example of the British Standards Institute. Intern. J. Open Inform. Technol. 2016; 4 (6): 1–9. (In Russ.)
  38. Gusev A.V., Pliss M.A. The basic recommendations for the creation and development of information systems in health care based on artificial intelligence. Vrach i informatsionnye tekhnologii. 2018; (3): 45–60. (In Russ.)

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Рис. 1. Семь разрабатываемых стандартов в области регулирования систем искусственного интеллекта (СИИ); ГОСТ — государственный стандарт [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

Download (43KB)
Indexing metadata
3. Рис. 2. Этапы клинической оценки систем искусственного интеллекта (СИИ); ПО — программное обеспечение; НПА — нормативно-правовые акты [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

Download (78KB)
Indexing metadata
4. Рис. 3. Процесс подготовки набора данных для обучения и тестирования систем искусственного интеллекта [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

Download (28KB)
Indexing metadata
5. Рис. 4. Процессы жизненного цикла систем искусственного интеллекта; ИИ — искусственный интеллект [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

Download (39KB)
Indexing metadata
6. Рис. 5. Перспективная программа стандартизации в области медицинских изделий на период 2020–2027 гг.; ГОСТ — государственный стандарт; ЖЦ — жизненный цикл; СМК — система менеджмента качества; СИИ — система искусственного интеллекта; СППВР — система поддержки принятия врачебных решений [Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы]

Download (99KB)
Indexing metadata

© 2021 Eco-Vector