Overview of modern digital diagnostic image markup tools

Cover Page


Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription or Fee Access

Abstract

Background. In modern medicine, artificial intelligence algorithms are being actively introduced, for testing and training of which a large amount of labeled datasets is required. Software for labeling (annotation) of digital diagnostic images is a necessary element when creating datasets.

Aim. To review the capabilities and comparative analysis of the functionality of the most common available software for annotating digital diagnostic images.

Material and methods. Five free and one commercial software product for annotation of digital diagnostic images participated in the comparative analysis. When testing the marking process on medical images for several target types of pathology, the usability of the graphical user interface and functionality was evaluated. The functionality of the software products has been tested by radiologists with over 5 years of experience. In addition, a review of semi-automatic segmentation methods implemented in the studied software products was carried out. As initial medical images, datasets of computed tomography studies obtained from open sources, were used.

Results. Comparison of software functionality for annotation of digital diagnostic images was made: supported formats; loading, presenting and saving original images and annotation data; the possibility of visualization of medical images; annotation tools. The algorithms underlying semi-automatic segmentation methods were studied and systematized. The requirements for the basic functionality of software for labeling digital diagnostic images have been formulated. The results obtained create a systematic basis for developing recommendations for radiologists on the choice and use of digital diagnostic image marking tools.

Conclusion. The most complete functionality in the field of segmentation of digital diagnostic images among the considered free software has 3D Slicer; in the case of annotation for detection tasks, it is convenient to use the Supervisely, CVAT platforms; for automatic segmentation of some types of pathology and organs, 3D Slicer extensions and ready-made models in Medseg can be used.

Full Text

Актуальность

Разметка, или аннотация, изображений входит в анализ медицинских данных. К видам разметки изображений относят классификацию (общий анализ), детекцию (ограничение целевых областей прямоугольниками) и сегментацию (выделение целевых областей попиксельной маской) изображения. Задача сегментации, по причине большого объёма рутинных операций, является областью активного внедрения технологий искусственного интеллекта.

В настоящее время искусственный интеллект активно применяют для решения различных задач, таких как целевая диагностика (например, сегментация и 3D-визуализация сосудов при операционном планировании [1]), оппортунистический скрининг разных видов патологии [2], оценка динамики и прогнозирование течения заболевания [3] и др. Качество работы алгоритма искусственного интеллекта и его диагностическая точность во многом зависят от размера и содержания наборов данных для обучения и тестирования [4].

Подготовка данных для обучения и тестирования искусственного интеллекта предполагает разметку данных медицинским экспертом [5]. Для упрощения процесса аннотации активно используют различное программное обеспечение (ПО). Наибольшую популярность приобрели бесплатные программы, желательно с открытым исходным кодом (open source), которые в силу активного конкурентного развития данной области зачастую не уступают коммерческому ПО на рабочей станции ­врача-рентгенолога.

По данным научной литературы, инструменты разметки цифровых диагностических изображений (ЦДИ) описывают применительно к отдельным медицинским задачам, и их нельзя назвать обобщающими. К примеру, в своей работе J. Wallner и соавт. [6] сравнивают и тестируют методы полуавтоматической сегментации в различном ПО на примере сегментации костей нижней челюсти на изображениях, полученных при компьютерной томографии (КТ). Также встречаются отдельные исследования [7, 8], посвящённые сравнению функционала различного ПО для разметки ЦДИ, однако далеко не все описываемые в них решения можно назвать доступными.

Цель

Цель данной работы — обзор возможностей и сравнительный анализ функциональности доступного ПО для аннотации ЦДИ, а также систематизация алгоритмов, лежащих в основе полуавтоматических методов сегментации, что позволит эксперту грамотно выбрать тот или иной метод разметки.

Материал и методы исследования

Для анализа было выбрано следующее ПО для разметки ЦДИ:

– 3D Slicer [9];

– ITK-SNAP [10];

– Supervisely [11];

– MITK [12];

– MedSeg [13];

– CVAT [14].

Предпочтение отдано бесплатным программам с открытым исходным кодом, но для полноты исследования включено коммерческое ПО Supervisely. Часть ПО была отсеяна по причине прекращения развития или ограниченной функциональности (Vaa3D [15], CellProfiler [16]).

Оценка функциональности ПО проведена на основе официальной сопроводительной документации, а также в рамках сегментации медицинских изображений экспертами на тестовом наборе КТ-изображений пациентов с различными видами патологии (кальцинаты в коронарных артериях, лёгочные узлы, эмфизема, гидроторакс, аневризма брюшного отдела аорты, расширение восходящей и нисходящей частей аорты, коронавирусная инфекция COVID-19, паракардиальный жир, образования надпочечников, расширение лёгочного ствола, ишемический инсульт).

Проведён обзор методов полуавтоматической сегментации, реализованных в исследуемом ПО.

3D Slicer. Программный модульный продукт c открытым исходным кодом широкого профиля, позволяющий обрабатывать многомерные изображения и обладающий наиболее обширным функционалом, по сравнению с другими программными продуктами, в области сегментации, регистрации, фильтрации и других областях обработки медицинских и других биологических изображений.

ITK-SNAP. Программный продукт c открытым исходным кодом, специализирующийся на сегментации структур в многомерных диагностических изображениях.

MITK. Программный продукт на основе библиотеки c открытым исходным кодом Medical Imaging Interaction Toolkit.

Supervisely. Современная коммерческая веб-платформа, позволяющая осуществлять все этапы обучения моделей компьютерного зрения: от сырых данных до модели, используемой в реальных условиях. Это задачи организации, аннотации и аугментации данных, обучения моделей, обеспечения качества и многие другие. Аннотация ЦДИ — лишь одна из задач, решаемых данным ПО.

Medseg. Программный продукт с простой функциональностью и инструментами ручной разметки. Содержит ряд автоматических и полуавтоматических методов на основе нейронных сетей для сегментации различных органов и некоторых видов патологии.

CVAT. Веб-платформа с открытым исходным кодом для ручной и полуавтоматической разметки изображений и видео. Требует преобразования медицинских изображений в графические форматы.

Результаты и обсуждение

Для сравнения выбранного ПО был составлен список категорий базовой функциональности, который оценивали в каждой из программ.

– Общие характеристики.

– Поддерживаемые форматы, загрузка медицинских данных.

– Представление и сохранение данных сегментации.

– Возможности визуализации медицинских изображений.

– Инструменты ручной сегментации и дополнительные возможности корректировки областей сегментации.

– Инструменты полуавтоматической сегментации.

– Автоматическая сегментация.

С практической точки зрения необходимо понять, как каждая категория реализована в программах, и сравнить их реализации.

Далее будем пользоваться следующими понятиями.

– Воксел — элемент растра в многомерных изображениях, аналог пиксела в двухмерных изображениях.

– Сегментация изображения — результат присвоения метки (класса сегментации) каждому вокселу изображения таким образом, чтобы вокселы с одинаковой меткой обладали определёнными общими свойствами [17].

Общие характеристики ПО для аннотации ЦДИ представлены в табл. 1.

 

Таблица 1. Общие характеристики, работа с файлами в программном обеспечении для аннотации цифровых ­диагностических изображений

Функция/характеристика

3D Slicer

ITK-SNAP

MITK

Medseg

Supervisely

CVAT

Общие характеристики

Open source

да

да

да

нет

нет

да

Веб-приложение

нет

нет

нет

да

да

да

Возможность установить локально

да

да

да

нет

в расширенной версии

да

Добавление пользовательских модулей

да

да

да

нет

да

да

Менеджмент процесса распределённой разметки

нет

нет

нет

нет

да

да

Сложность установки

низкая

низкая

низкая

высокая

Системные требования

RAM (минимум/рекомендовано), количество ядер

4/8 Gb

2/4 Gb

8/32 Gb

CPU 4/8 ядер

ОС (операционная система)

Windows, macOS, Linux

Windows, macOS, Linux

Windows, macOS, Linux

Linux

Windows, macOS, Linux

Разрешение экрана

1024×768/
1280×1024

1024×768/
1280×1024

Дополнительно (рекомендовано)

наличие GPU

наличие GPU

Google Chrome, наличие GPU

Диск 200 Gb

SSD наличие GPU

наличие GPU

Поддержка форматов медицинских изображений, загрузка файлов

Поддержка основных форматов медицинских изображений

+

+

+

Возможность загружать несколько изображений и ­сегментаций

+

+

+

+/–

Одновременная работа с ­несколькими сегментациями для одного изображения

+

+/–

+

Иерархическая структура представления загруженных файлов

+

+

Примечание: «—» — неприменимо или отсутствует информация; «+» — наличие данной функции в данном программном обеспечении; «–» — отсутствие данной функции; «+/–» — функция реализована частично.

 

Из бесплатного ПО возможностью администрирования процесса аннотации обладает только CVAT. Это одна из немногих бесплатных программ, которая позволяет хранить изображения на локальном сервере и осуществлять распределённую работу нескольких экспертов. В Supervisely присутствует обширная функциональность по управлению процессом разметки: экзамены для экспертов по разметке, онлайн-проверки разметки одних экспертов другими, расчёт метрик согласованности разметки различными экспертами и др.

Возможностью расширять функциональность и добавлять новые пользовательские модули обладают 3D Slicer [18], MITK, Supervisely [19], CVAT [20]. При этом каждое из перечисленного ПО обладает развёрнутым руководством для программиста и документацией по SDK/API: 3D Slicer [21], CVAT [22], Supervisely [23].

В последних версиях ITK-SNAP появилась возможность удалённого подключения к дополнительным сервисам обработки изображений (DDS) и создания собственного сервиса [24].

Все программы, кроме CVAT, просты в установке. Установка CVAT с полуавтоматическими инструментами может вызвать сложности, а возникающие проблемы не всегда можно разрешить с помощью технической поддержки продукта.

Поддерживаемые форматы, загрузка медицинских данных. Наибольшее разнообразие форматов обрабатываемых исходных изображений и форматов областей сегментации обнаружено в 3D Slicer. Основные форматы (DICOM, NRRD, NIfTI) и некоторые другие поддерживаются MITK, ITK-SNAP. Supervisely работает только с форматами DICOM, NRRD; Medseg — c форматом NIfTI, DICOM. ПО CVAT не умеет работать с медицинскими изображениями в традиционных форматах, необходимо предварительно конвертировать изображения в графические форматы с помощью определённой поставляемой разработчиками утилиты.

Следует отметить, что конвертация медицинских изображений влечёт за собой риск неверной интерпретации данных. К примеру, при преобразовании КТ-изображений в графические форматы происходит потеря точности из-за более узкого диапазона дискретных значений интенсивностей цвета по сравнению с исходным диапазоном, теряется информация о параметрах протокола сканирования и т.д.

В документации по ПО для разметки часто указана поддержка лишь наиболее частых модальностей (КТ, МРТ1). На практике данное ПО можно попробовать использовать и для других модальностей в поддерживаемых ПО форматах.

На наш взгляд, наиболее удобно загрузка файлов реализована в 3D Slicer. Есть возможность загрузки нескольких сегментаций и изображений в различных форматах, а также изображений формата DICOM из иерархической структуры папок. В MITK и 3D Slicer загруженные файлы представлены в виде иерархической структуры, отображающей, какие сегментации относятся к каким исходным изображениям. Можно гибко менять видимость различных изображений и сегментаций в окне просмотра, сравнивать несколько сегментаций между собой.

Дополнительно в 3D Slicer существует возможность просматривать и синхронизировать несколько серий изображений одновременно.

Информация по остальному ПО представлена в сводной табл. 1.

Представление и сохранение данных сегментации. В MITK, 3D Slicer и Medseg каждая сегментация представлена слоями для каждого класса разметки. В CVAT и Supervisely принципиально другое представление разметки — в виде объектов: полигонов, прямоугольников, растровых объектов и др. В CVAT объекты сгруппированы по изображениям, к которым они относятся.

В Supervisely формируются классы разметки на основе различных типов (прямоугольник, полигон, маска, любая форма). Создаются объекты на основе классов разметки, включающие фигуры только указанного типа.

Благодаря такой структуре в CVAT и Supervisely полигоны и другие векторные фигуры можно редактировать после создания.

Сохранение разметки удобно реализовано в 3D Slicer. Можно выборочно сохранять произвольные наборы исходных изображений и областей сегментации в отличие от другого ПО (MITK, ITK-SNAP), где можно сохранить или всё рабочее пространство, или каждую сегментацию по отдельности. В Supervisely и СVAT присутствует возможность сохранения векторных объектов в векторном виде для последующей коррекции, что делает данное ПО объектом выбора, когда разметка требует сохранения векторной информации для полигонов, прямоугольников, например в случае аннотаций прямоугольниками для задачи детекции.

Возможности визуализации медицинских изображений. Минимальная функциональность для просмотра медицинских изображений включает функции, представленные в табл. 2. Этот список был составлен путём опроса пяти врачей-рентгенологов, участвующих в разметке наборов данных, и трёх специалистов по подготовке наборов данных ­Научно-практического клинического центра диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы. Решение о включении каждой из функций в анализ принимали на основании большинства голосов опрошенных экспертов.

 

Таблица 2. Возможности визуализации медицинских изображений, ручные и дополнительные инструменты в ­программном обеспечении для аннотации цифровых диагностических изображений

Функция

3D Slicer

ITK-SNAP

MITK

Medseg

Supervisely

CVAT

Возможности визуализации медицинских изображений

Стандартные окна преобразования HU в цвет

+

+

+

+

Ручное изменение окна преобразования HU в цвет

+

+

+

+

+

Разнообразие вариантов расположения окон просмотра

+

+/–

+

+

3D-визуализация области сегментации

+

+

+

+

3D-визуализация медицинского изображения

+

+

+

Изменение направления осей проекций

+

Отображение номера среза, HU плотности, позиции курсора

+

+

+

+

+

Крестовой курсор для отображения позиции на всех проекциях

+

+

+

+

Ручные и дополнительные инструменты

Наличие ручных инструментов

+

+

+

+

+

+

Наличие ручных инструментов редактирования в 3D-окне

+

+

Логические операции со слоями

+

+

Отмена последнего действия

+

+

+

+

+

+

Определение диапазона интенсивностей по региону

+

Работа с областью как с графом (выделение главной компоненты, удаление компонент определённого размера, выделение выбранной компоненты)

+

+/–

Инструменты удаления полостей, сглаживания границ

+

+

Примечание: HU — единицы денситометрической плотности по шкале Хаунсфилда; «+» — наличие данной функции в данном программном обеспечении; «–» — отсутствие данной функции; «+/–» — функция реализована частично.

 

CVAT не обладает средствами визуализации медицинских изображений, так как работает уже с графическими форматами, поэтому его не рассматриваем.

Возможность 3D-отображения исходного изображения есть только в MITK, ITK-SNAP и 3D Slicer. Наличие настраиваемых и стандартных окон преобразования HU-интенсивностей в интенсивности цвета есть в большинстве программ, кроме ITK-SNAP, где контрастность и окно преобразования настраивается по гистограмме HU-интенсивности. В 3D Slicer доступна автонастройка контраста по выбираемому региону.

Инструменты ручной сегментации и дополнительные возможности корректировки области сегментации. Инструменты идентичны в различных программах. В CVAT, Supervisely доступна пост-коррекция вручную созданных векторных объектов. В 3D Slicer есть удобная возможность редактировать области сегментации в 3D-окне, а также инструмент «Ножницы», позволяющий вырезать подпространства, ограниченные цилиндрической поверхностью в срезах и в 3D-окне.

В 3D Slicer, а также в MITK существует множество дополнительных инструментов для коррекции сформированной области сегментации: логические операции со слоями, расширение/сужение области сегментации на некоторую величину, работа с областями как с элементами графа (выделение главной компоненты, удаление маленьких по размеру компонент, выделение/удаление выбранной компоненты), сглаживание различными методами (заливка полостей, удаление выпуклостей и др.). Наличие данных функций в другом ПО представлено в табл. 2.

Инструменты полуавтоматической сегментации. Полуавтоматическая сегментация служит одной из самых важных частей ПО для разметки ЦДИ. Она предполагает ввод определённых данных человеком, например области интереса или ключевых точек, либо требует дополнительной ручной настройки параметров. Небольшой обзор позволит понять, на чём основаны полуавтоматические алгоритмы в различных программах сегментации, и систематизировать их.

Алгоритмы, лежащие в основе полуавтоматических методов, способны реализовать различные подходы. Это могут быть классические подходы или же подходы на основе методов машинного обучения (нейронные сети, классические алгоритмы машинного обучения) [25]. Наиболее часто используемые классические подходы можно отнести к одной из двух ­категорий:

– region-based — методы, в основе которых лежит поиск областей, удовлетворяющих критерию схожести по определённым признакам;

– edge-based — методы, в основе которых лежит поиск границ между областями с различными признаками.

К алгоритмам region-based относят, например, пороговые методы, кластеризацию по определённым характеристикам (вариации пороговых методов в различном ПО, метод Clusters в ITK-SNAP).

Подклассом методов region-based являются подходы region-growing, в которых учитывается не только схожесть вокселов по определённым признакам, но и их близость в изображении друг к другу. Результат в таких алгоритмах получают посредством наращивания исходной области по предопределённым критериям схожести и пространственной близости.

В MITK реализованы два метода region-growing — 2D и 3D. 2D-метод применяется к срезу, позволяет задавать точку, определяющую интенсивность и динамически менять диапазон интенсивностей (расширяя его или сужая, сдвигая влево и вправо). Метод 3D позволяет по начальной точке определить диапазон интенсивностей и затем регулировать его с помощью дополнительного слайдера. В результирующую область будут включены все вокселы, связанные с исходной точкой внутри выбранного диапазона.

Данный подход можно применять, когда сегментируемая структура обладает характерным диапазоном интенсивностей, отделяющим её от прилегающих областей.

В том случае, когда нет единого характерного диапазона интенсивностей для всей целевой размечаемой структуры, можно использовать методы edge-based, упомянутые ранее. Данный подход опирается не на схожесть областей по определённым характеристикам, а на поиск границ областей. Выделение границ может происходить с помощью различных операторов, например, таких как операторы Превитта, Робертса, Кирша и др.

В программе ITK-Snap к методам edge-based может быть отнесён метод активных контуров Edge Attraction [26], в MITK — алгоритмы Fast matching 2D, 3D на основе моделей с растущими линиями уровня [27].

К методам edge-based можно отнести Intelligent Scissors (CVAT) и Live Wire (MITK), являющиеся реализаций алгоритма на графе с вершинами в вокселах, минимизирующего взвешенное расстояние между двумя вокселами. Вес рёбер меньше на границах областей, чем внутри области [28].

Ещё одна категория — методы на основе интерполяции областей сегментации между срезами (Interpolate labels в ITK-SNAP [29], Fill between slices в 3D Slicer, Volume Interpolation в Supervisely, Interpolation 2D в MITK). Данные методы позволяют задать области сегментации в нескольких срезах и интерполировать эти области в неразмеченных срезах, что даёт возможность в несколько раз ускорить разметку по сравнению с ручными методами. Методы интерполяции хорошо работают в разметке структур, форма которых не сильно варьируют от среза к срезу.

Метод SurfaceCut в 3D Slicer аппроксимирует размечаемые структуры выпуклой поверхностью. Может быть применён в том случае, когда соседние с целевой структурой ткани обладают сходной интенсивностью. Метод позволяет грубо отделить целевую структуру от окружающих тканей [30].

Метод Grow From Seeds — итеративный алгоритм на основе клеточных автоматов. Начальным областям сегментации присваиваются классы сегментации, затем классы итеративно распространяются на другие вокселы. Каждый воксел обладает силой и может быть «завоё­ван» соседними вокселами. Класс воксела может смениться на другой, если сила атаки, зависящая от силы соседних вокселов и разности его свойств и свойств «соседей», больше, чем его собственная сила [31].

В последние годы активно развиваются и внедряются в программы сегментации изображений полуавтоматические методы, основанные на методах машинного обучения (в основном методах глубокого обучения). В программе ITK-SNAP есть метод Classification на основе метода RandomForest [32], вектором признаков для которого служат интенсивности и другие характеристики отдельного воксела и вокселов в некотором радиусе.

Часто для интерактивной сегментации используют нейронные сети, на вход которых поступает информация об интересующем регионе изображения и ручная информация, например клики мышкой точек, которые принадлежат/не принадлежат целевой области. На основе этих входных данных на выходе нейронной сети получаем новую область сегментации.

В программах Supervisely, CVAT, Medseg именно такие алгоритмы на основе нейронных сетей составляют полуавтоматические ­методы. В Supervisely, CVAT данные методы могут применяться к обычным изображениям. В то же время, в Medseg — это модели, обученные на медицинских данных, сегментирующие различные органы и виды патологии. Для данных методов необходимо ввести ключевые точки, например внутри и вне целевой области для её сегментации.

Систематизация инструментов по подходам может быть сведена в единую табл. 3.

 

Таблица 3. Систематизация полуавтоматических методов сегментации в программном обеспечении для аннотации цифровых диагностических изображений

Подход

3D Slicer

MITK

ITK-SNAP

CVAT

Medseg

Supervisely

На основе выделения областей (region-based)

Пороговый метод (Thresholds).

Метод «заливки» (Flood Filling).
Метод «Локальный порог» (Local threshold)

Метод с наращиванием областей (Region growing 2D, 3D).

Метод Оцу. Пороговые методы (Thresholds, UL Thresholds)

Пороговый метод (­Thresholding). Кластеры (Clusters)

Пороговый метод (Thresholds)

На основе выделения границ областей (Edge-based)

Метод «быстрого соответствия» (Fast matching 2D, 3D) [27].

Метод Live Wire (аналог метода «умные ножницы»)

Метод «выделения границ» (Edge Attraction) [26]

Метод «умные ножницы» (Intelligent scissors) [28]

Интерполяция

Интерполяция между срезами (Fill between Slices)

Интерполяция 2D, 3D (Interpolation 2D, 3D)

Интерполяция меток (Interpolate labels) [29]

Интерполяция изображения (Volume interpolation)

Методы машинного обучения

Классификация (Classification) [32]

Методы на основе нейронных сетей HrNet [33], Dextr [34], f-BRS [35]

Методы на основе DeepGrow моделей [36]

Метод «умной разметки» (RITM Interactive SmartTool [37])

Прочее

Метод «выращивания областей» (Grow From Seeds) [31]. Метод «отсечения поверхностью» (Surface Cut) [30]

Примечание: «—» — отсутствие методов полуавтоматической сегментации с данным подходом.

 

Автоматическая сегментация. Только небольшая часть рассмотренного ПО (3D Slicer, Medseg) содержит готовые модули для автоматической сегментации. Большинство модулей являются моделями глубокого обучения и связаны с сегментацией различных органов. Так, например, в 3D Slicer есть плагины по сегментации височной кости [38], дыхательных путей [39], опухолей молочной железы [40], печени и её сосудов [41], других сосудов [42], мозга [43], сердца [44] и других структур по КТ/МРТ-изображениям. В программе Medseg есть модели, сегментирующие лёгкие, печень, почки, поджелудочную железу и другие органы и виды патологии по КТ/МРТ-снимкам. Недостаток Medseg, ограничивающий возможность применения моделей, — невозможность локальной установки ПО.

Требования к базовой функциональности. В результате обзора функциональности и тестирования ПО врачами-рентгенологами и техническими специалистами были сформированы требования к базовой функциональности ПО для аннотации ЦДИ, представленные ниже.

Общие характеристики:

– возможность установки ПО на локальных серверах;

– возможность распределённой работы нескольких экспертов над одним набором данных;

– возможность формирования задач экспертам, отслеживания статусов готовности;

– расширяемость ПО, возможность добавления новых модулей.

Загрузка и сохранение. Поддерживаемые форматы:

– поддержка основных форматов медицинских изображений;

– возможность загрузки иерархической структуры папок DICOM, загрузки нескольких файлов с сегментациями и исходными изображениями, одновременной работы с несколькими сегментациями;

– возможность просматривать теги DICOM;

– сохранение векторных данных при ручной разметке полилиниями, полигонами и другими фигурами и возможность их дальнейшего изменения.

Возможности визуализации медицинских изображений:

– наличие 3D-визуализации исходного изображения и сегментации;

– наличие стандартных окон преобразования из HU-интенсивностей в интенсивность цвета;

– возможность менять расположение окон просмотра;

– возможность менять направления осей проекции;

– возможность управления контрастом (по области, на основе гистограммы интенсивности);

– отображение информации о номере среза, HU-плотности, позиции курсора;

– наличие крестового курсора для ориентации в нескольких проекциях.

Ручные и дополнительные инструменты:

– стандартные ручные инструменты, наличие ручных инструментов редактирования в 3D-окне;

– логические операции со слоями сегмен­тации;

– возможность отменить последнее действие;

– определение диапазона интенсивностей по области;

– работа с областью сегментации как с графом (удаление/выделение компоненты/главной компоненты, удаление определённых по размеру компонент);

– сглаживание полученной области (удаление полостей, выпуклостей и др.);

– расширение/сужение области на определённую величину.

Полуавтоматические инструменты:

– методы, выделенные врачами-рентгенологами как наиболее эффективные при тестовой сегментации: Thresholds, SurfaceCut, Fill between slices, Region Growing 2D, Intelligent Scissors и RITM Interactive.

Ограничения.

В обзоре была использована версия MITK (MITK-2015.05.2) в силу недоступности основного сайта данного ПО.

Заключение

Наиболее полной функциональностью в области сегментации ЦДИ среди бесплатного ПО обладает 3D Slicer. Он может быть дополнен при необходимости инструментами полуавтоматической сегментации из другого ПО (MITK, ITK-SNAP). В случае сегментации ручными инструментами и аннотации для задач детекции (полигонами, прямоугольниками) удобнее применять платформу Supervisely. В силу того, что данное ПО для локальной установки является коммерческим, альтернативой ему может служить программный продукт CVAT. Для автоматической сегментации некоторых видов патологии и органов можно использовать расширения 3D Slicer и готовые модели в Medseg.

Полученные результаты создают системную основу для выработки рекомендаций врачам-рентгенологам по выбору и использованию средств разметки ЦДИ. Результаты обзора могут быть использованы при подготовке наборов данных для обучения и тестирования искусственного интеллекта, разработки ПО для аннотации ЦДИ, а также для решения диагностических задач, в которых нужна сегментация медицинских изображений.

 

Участие авторов. Ю.А.В., А.В.В. и О.В.О. — разработка концепции; Е.Ф.С. — написание рукописи, сбор и систематизация данных, подготовка набора данных; К.М.А. — сбор и систематизация данных, редактирование.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов по представленной статье.
Источник финансирования. Статья подготовлена авторским коллективом в рамках научно-практического проекта в сфере медицины (№ЕГИСУ: 122112400040-1) «Эталонные наборы данных для устойчивого развития технологий искусственного интеллекта в медицинской диагностике с целью минимизации долгосрочных последствий пандемии коронавирусной инфекции для здоровья населения города Москвы».
Благодарность. Авторы выражают благодарность А.В. Соловьёву, А.В. Панкратову, Д.У. Шихмурадову за помощь в проведении клинической оценки; В.П. Новику, М.Р. Коденко за помощь в проведении технической оценки.

×

About the authors

Yuriy A. Vasilev

Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Department of Health

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-0208-5218

M.D., Cand. Sci. (Med.), Director

Russian Federation, Moscow, Russia

Ekaterina F. Savkina

Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Department of Health

Author for correspondence.
Email: SavkinaEF@zdrav.mos.ru
ORCID iD: 0000-0001-9165-0719

Junior Researcher, Depart. of Radiomics and Radiogenomics

Russian Federation, Moscow, Russia

Anton V. Vladzymyrskyy

Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Department of Health; First Moscow State Medical University named after I.M. Sechenov (Sechenov University)

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736

Deputy Director for Scientific Work; M.D., D. Sci. (Med.), Prof.

Russian Federation, Moscow, Russia; Moscow, Russia

Olga V. Omelyanskaya

Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Department of Health

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID iD: 0000-0002-0245-4431

Head of Depart., Depart. of Management of the Science Directorate

Russian Federation, Moscow, Russia

Kirill M. Arzamasov

Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Department of Health

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349

M.D., Cand. Sci. (Med.), Head of the Depart., Depart. of Medical Informatics, Radiomics and ­Radiogenomics

Russian Federation, Moscow, Russia

References

  1. Meess KM, Izzo RL, Dryjski ML, Curl RE, Harris LM, Springer M, Siddiqui AH, Rudin S, Ionita CN. 3D printed abdominal aortic aneurysm phantom for image guided surgical planning with a patient specific fenestrated endovascular graft system. Medical imaging 2017: Imaging informatics for healthcare, research, and applications. SPIE. 2017;10138:159–172. doi: 10.1117/12.2253902.
  2. Kodenko MR, Vasilev YuA, Vladzymyrskyy AV, Omelyanskaya OV, Leonov DV, Blokhin IA, Novik VP, Kulberg NS, Samorodov AV, Mokienko OA, Reshetnikov RV. Diagnostic accuracy of AI for opportunistic screening of abdominal aortic aneurysm in CT: A systematic review and narrative synthesis. Diagnostics. 2022;12(12):3197. doi: 10.3390/diagnostics12123197.
  3. Le Berre C, Sandborn WJ, Aridhi S, Devignes M-D, Fournier L, Smaïl-Tabbone M, Danese S, Peyrin-Biroulet L. Application of artificial intelligence to gastroenterology and hepatology. Gastroenterology. 2020;158(1):76–94.e2. doi: 10.1053/j.gastro.2019.08.058.
  4. Medar R, Rajpurohit VS, Rashmi B. Impact of training and testing data splits on accuracy of time series forecasting in machine learning. 2017 International Conference on Computing, Communication, Control and Automation (ICCUBEA). Pune, India: IEEE; 2017. с. 1–6. doi: 10.1109/ICCUBEA.2017.8463779.
  5. Pavlov NA, Andreychenko AE, Vladzymyrskyy AV, Revazyan AA, Kirpichev YuS, Morozov SP. Reference medical datasets (MosMedData) for independent external evaluation of algorithms based on artificial intelligence in diagnostics. Digital Diagnostics. 2021;2(1):49–65. (In Russ.) doi: 10.17816/DD60635.
  6. Wallner J, Schwaiger M, Hochegger K, Gsaxner C, Zemann W, Egger J. A review on multiplatform evaluations of semi-automatic open-source based image segmentation for cranio-maxillofacial surgery. Comput Methods Programs Biomed. 2019;182:105102. doi: 10.1016/j.cmpb.2019.105102.
  7. Free software for annotating DICOM in deep learning. https://www.imaios.com/en/resources/blog/the-best-medical-image-annotation-software (access date: 20.01.2023).
  8. Grünber K, Jimenez-del-Toro O, Jakab A, Langs G, Salas Fernandez T, Winterstein M, Krenn M. Annotating medical image data. In: Cloud-Based Benchmarking of Medical Image Analysis. Cham: Springer; 2017. p. 45–67. doi: 10.1007/978-3-319-49644-3.
  9. D Slicer image computing platform. In: 3D Slicer image computing platform. https://www.slicer.org/ (access date: 15.01.2023).
  10. ITK-SNAP. http://www.itksnap.org/pmwiki/pmwiki.php (access date: 15.01.2023).
  11. Unified OS/Platform for computer vision. https://supervise.ly/ (access date: 16.01.2023).
  12. The Medical Imaging Interaction Toolkit. https://github.com/MITK/MITK?ysclid=lfrblsfeel784158071 (access date: 16.01.2023).
  13. MedSeg — free medical segmentation online. https://www.medseg.ai/ (access date: 16.01.2023).
  14. Computer vision annotation tool. https://www.cvat.ai/ (access date: 16.01.2023).
  15. Vaa3D. https://en.wikipedia.org/wiki/Vaa3D (access date: 10.01.2023).
  16. СellProfiler. Cell image analysis software. https://cellprofiler.org/ (access date: 10.01.2023).
  17. Krasil'nikov NN. Tsifrovaya obrabotka 2D- i 3D-izobrazheniy. (Digital processing of 2D and 3D images.) SPb.: BHV-Peterburg; 2011. 608 р. (In Russ.)
  18. Extensions. https://slicer.readthedocs.io/en/latest/developer_guide/extensions.html (access date: 16.01.2023).
  19. Creating a Supervisely plugin. https://sdk.docs.supervise.ly/repo/help/tutorials/01_create_new_plugin/how_to_create_plugin.html (access date: 02.02.2023).
  20. Serverless tutorial. https://opencv.github.io/cvat/docs/manual/advanced/serverless-tutorial/ (access date: 16.01.2023).
  21. Developer Guide. https://slicer.readthedocs.io/en/latest/developer_guide/index.html# (access date: 12.05.2023).
  22. API & SDK. https://opencv.github.io/cvat/docs/api_sdk/ (access date: 12.05.2023).
  23. API & SDK Seamless integration with existing codebase. https://supervisely.com/ecosystem/api-and-sdk/ (access date: 12.05.2023).
  24. DSS Service Developer’s Quick Start Guide. https://alfabis-server.readthedocs.io/en/latest/service_quick_start.html (access date: 16.01.2023).
  25. Rogowska J. Overview and fundamentals of medical image segmentation. In: Handbook of medical imaging, processing and analysis. Academic Press, Cambridge, Massachusetts; 2000. с. 69–85. doi: 10.1016/B978-012077790-7/50009-6.
  26. Yushkevich PA, Piven J, Hazlett HC, Smith RG, Ho S, Gee JC, Gerig G. User-guided 3D active contour segmentation of anatomical structures: significantly improved efficiency and reliability. Neuroimage. 2006;31(3):1116–1128. doi: 10.1016/j.neuroimage.2006.01.015.
  27. Fast Marching Segmentation. https://simpleitk.readthedocs.io/en/master/link_FastMarchingSegmentation_docs.html (access date: 17.04.2023).
  28. Mortensen EN, Barrett WA. Intelligent scissors for image composition. In: Proceedings of the 22nd annual conference on Computer graphics and interactive techniques. New York, NY: Association for Computing Machinery; 1995. р. 191–198. doi: 10.1145/218380.218442.
  29. Zuki D, Vicory J, McCormick M, Wisse LEM, Gerig G, Yushkevich P, Aylward S. ND morphological contour interpolation. Insight J. 2016;17:1–27. doi: 10.54294/achtrg.
  30. SlicerSegmentEditorExtraEffects. https://github.com/lassoan/SlicerSegmentEditorExtraEffects (access date: 17.04.2023)
  31. Zhu L, Kolesov I, Gao Y, Kikinis R, Tannenbaum A. An effective interactive medical image segmentation method using fast GrowCut. http://interactivemedical.org/imic2014/CameraReadyPapers/Paper%204/IMIC_ID4_FastGrowCut.pdf (access date: 16.01.2023).
  32. Breiman L. Random Forests. Journal Machine Learning. 2001;45(1):5–32. doi: 10.1023/A:1010933404324.
  33. Wang J, Sun K, Cheng T, Jiang B, Deng C, Zhao Y. Deep High-Resolution Representation Learning for Visual Recognition. IEEE Trans Pattern Anal Mach Intell. 2021;43(10):3349–3364. doi: 10.1109/TPAMI.2020.2983686.
  34. Maninis KK, Caelles S, Pont-Tuset J, Van Gool L. Deep extreme cut: From extreme points to object segmentation. In: Proceedings of the IEEE conference on computer vision and pattern recognition. Salt Lake City, UT, USA; 2018. р. 616–625, doi: 10.48550/arXiv.1711.09081.
  35. Sofiiuk K, Petrov I, Barinova O, Konushin A. Rethinking backpropagating refinement for interactive segmentation. In: Proceedings of the IEEE conference on computer vision and pattern recognition. Seattle, WA, USA; 2020. р. 8623–8632, doi: 10.48550/arXiv.2001.10331.
  36. Sakinis T, Milletari F, Roth H, Korfiatis P, Kostandy P, Philbrick K, Erickson BJ. Interactive segmentation of medical images through fully convolutional neural networks. ArXiv preprint. 2019. doi: 10.48550/arXiv.1903.08205.
  37. Sofiiuk K, Petrov IA, Konushin A. Reviving Iterative Training with Mask Guidance for Interactive Segmentation, 2022. In: IEEE International Conference on Image Processing (ICIP). Bordeaux; 2022. р. 3141–3145. doi: 10.1109/ICIP46576.2022.9897365.
  38. ABL Temporal Bone Segmentation Module. https://github.com/Auditory-Biophysics-Lab/Slicer-ABLTemporalBoneSegmentation (access date: 17.04.2023).
  39. Airway Segmentation. GitHub — Slicer/SlicerAirwaySegmentation: CLI module for airway segmentation starting from chest CT images (access date: 17.04.2023).
  40. Breast DCE-MRI FTV extension. https://github.com/rnadkarni2/SlicerBreast_DCEMRI_FTV (access date: 17.04.2023).
  41. RVesselX Slicer Liver Anatomy Annotation Plugin. https://github.com/R-Vessel-X/SlicerRVXLiverSegmentation (access date: 17.04.2023).
  42. The VMTK Extension for 3D Slicer. https://github.com/vmtk/SlicerExtension-VMTK (access date: 17.04.2023).
  43. HDBrainExtraction. https://github.com/lassoan/SlicerHDBrainExtraction (access date: 17.04.2023).
  44. T1 & ECV Mapping. https://github.com/RivettiLuciano/SlicerT1_ECVMapping (access date: 17.04.2023).

Supplementary files

Supplementary Files
Action
1. JATS XML

© 2023 Eco-Vector





This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies