The quality of artificial intelligence algorithms for identifying manifestations of multiple sclerosis on magnetic resonance imaging (systematic review)

Full Text

Введение

Среди хронической патологии центральной нервной сис-темы особое место занимает рассеянный склероз (РС) — неизлечимое, аутоиммунное и нейродегенеративное заболевание, являющееся одной из основных причин стойкой утраты трудоспособности у лиц молодого возраста. В последнее время отмечается глобальный рост распространённости РС [1–3]. Далеко не последнюю роль в увеличении выявляемости РС играет интенсивное развитие диагностической нейровизуализации. Во многих странах Европы, Юго-Восточной Азии, Северной Америки наблюдается прогрессивный рост оснащённости систем здравоохранения компьютерными и магнитно-резонансными томографами с параллельным увеличением числа исследований. Однако количество диагностических процедур не всегда коррелирует с качеством диагностики. Ряд авторов полагает, что увеличение распространённости РС ошибочно и обусловлено гипердиагностикой этого состояния в 10–31% случаев [4–6]. Опубликованные процитированными авторами данные свидетельствуют о низком качестве диагностики РС на первичном уровне здравоохранения, причём эта ситуация носит глобальный характер. Гипердиагностика приводит к бессмысленному, высокозатратному лечению, психологическим расстройствам, стигматизации. А гиподиагностика, наоборот, задерживает начало специфической терапии, приближает инвалидизацию, ухудшает прогноз. В связи с этим поиск путей повышения качества и точности диагностики РС на первичном уровне медицинской помощи является актуальной задачей.

С учётом уровня развития цифровых технологий представляется потенциально возможным применять алгоритмы искусственного интеллекта (ИИ) для автоматизированного анализа медицинской информации и поддержки принятия решений врачами-радиологами [7].

Предварительный анализ литературы позволил установить, что разработки в сфере ИИ для диагностики РС ведутся с 1990-х гг. [8–14]: предлагались различные математические модели и методы анализа данных, однако валидация этих разработок практически полностью отсутствовала, а стандартные метрики точности не публиковались. Период исследования проблемы с 1990-х до 2010-х гг. внёс вклад в развитие математики и компьютерных наук, но не медицины.

Позднее для скрининга и прогнозирования течения болезни предлагались:

1. Алгоритмы обработки естественного языка для анализа медицинской документации (истории болезни, результаты лабораторных исследований, антропологические и демографические данные и пр.) [15–18]. Во всех указанных работах авторы заявляли о хороших результатах, но независимого тестирования, масштабирования и клинической апробации этих разработок не проводилось. Иногда такие разработки дополнялись средствами анализа магнитно-резонансных изображений, что обеспечивало чувствительность и специфичность метода на уровне 71% и 68% соответственно [19].
2. Алгоритмы анализа результатов электроэнцефалографии [20–22]. С точки зрения автоматизации, это направление является бесперспективным, т.к. электроэнцефалография не позволяет провести диагностику РС в соответствии с критериями McDonald. Лидирующим методом, безусловно, является магнитно-резонансная томография (МРТ).
3. Алгоритмы анализа результатов МРТ посредством различных математических методов, в основном нейронных сетей. Именно это направление представляется наиболее перспективным и требующим углубленного изучения.

Цель исследования — систематизировать данные о точности и результативности применения алгоритмов ИИ для диагностики РС по результатам МРТ.

Материалы и методы

Выполнен систематический обзор с описанием по методологии «PRISMA» [23].

Поиск публикаций проводился на двух языках (русском и английском) с использованием ресурсов Научной электронной библиотеки РФ (www.elibrary.ru), Национальной медицинской библиотеки США (www.pubmed.org), коллекции препринтов Корнеллского университета, Итака, США (www.arxiv.org).

Поисковые запросы на английском языке включали термины (медицинские предметные заголовки (Medical Subject Headings — MeSH)): «multiple sclerosis», «artificial intelligence», «machine learning». Поисковые запросы на русском языке включали термины: «рассеянный склероз», «искусственный интеллект», «автоматизированный анализ», «машинное обучение».

Стратегия поиска представлена на рисунке. Обзор актуален по состоянию на 01.04.2020.

Критерии включения публикации:

1) соответствие теме систематического обзора;

2) оригинальное исследование (дизайн диагностического исследования);

3) статья в рецензируемом журнале, серии рецензируемых сборников, препринт;

4) в обучающий дата-сет включены результаты обследований пациентов исключительно с РС и лиц без патологии головного мозга;

5) алгоритм проводит анализ только результатов МРТ головного мозга (сегментация структур, выявление очагов);

6) приведены объективные данные о валидации, диагностической точности, иных метриках эффективности алгоритмов;

7) для объективизации диагностической точности использованы стандартные метрики (чувствительность, специфичность, площадь под характеристической кривой, коэффициент Дайса–Сёренсена).

 

Стратегия отбора публикаций для систематического обзора. / Article selection process for the systematic review.

 

Далее из каждой публикации были извлечены необходимые данные:

• имя автора, год публикации;
• цель, дизайн исследования;
• данные о наборе данных (дата-сете), методике проведения МРТ;
• результат оценки точности и эффективности;
• общие результаты.

Перечисленные сведения были систематизированы и проанализированы.

Результаты и обсуждение

В обзор были включены 39 статей и препринтов. Подав-ляющая их часть представляет собой детальное описание математических аспектов разработки алгоритмов (моделей) для автоматизированного выявления признаков РС на МРТ; при этом процесс и результаты оценки точности приводятся крайне лаконично. Нами не выявлено ни одного исследования, в котором алгоритм применялся бы в условиях клинической апробации или для проспективного анализа изображений. Все статьи, подходящие по критериям включения, имели ретроспективный дизайн. В публикациях отсутствовали данные о клинических результатах, поэтому мы ограничились систематизацией вопросов, связанных с наборами данных (дата-сетами), методикой и результатами ретроспективной оценки диагностической точности. Обобщённая информация приведена в таблице 1.

 

Обобщение данных об алгоритмах ИИ для выявления признаков PC на МРТ / Summarizing data on AI algorithms to detect signs of multiple sclerosis in MRI

Автор, год публикации Author, year of publication	Набор данных Data set				Метрики точности Precision metrics				Примечание Comments
	источник source	число пациентов c PC number of patients with MS	число пациентов без PC number of patients without MS	коэффициент Дайса-Сёренсена Sorensen-Dice coefficient	чувствительность sensitivity	специфичность specificity	общая точность general accuracy	иное other
Salem M. et al., 2017 [43]	Собственный Own	36	-	0,77 ± 0,23, 0,56 ±0,23	74,30 ± 28,70	11,86 ±18,40
Brosch T. et al., 2016 [37]	«MICCAI 2008», «ISBI 2015» Собственный Own	377	-		51,6			51,3*	Тестирование на новых данных Tested with updated data
Gabr R.E. et al., 2019 [36]	Собственный Own	1008	-	0,82 (95% ДИ 0,61-1,0)	76,0-79,0				Мультицентровое исследование (данные из 68 организаций). Максимальная чувствительность > 91% достигается для очагов объёмом не менее 70 мм3 Multicenter study (data provided by 68 organizations) Highest responsiveness value > 91 % was observed for focal areas of at least 70 mm3
Wang S.H. et al., 2018 [24]	To же Ibid	38	26	98,77 ± 0,35	98,76 ± 0,58		98,77 ± 0,39	98,75 ±0,58**
Zurita M. et al., 2018 [25]	-"-	104	46				89,0 ±2,0, 63,0 ±5,0		Сравнение пациентов с разной степенью неврологического дефицита Comparison of patients with varied neurologic deficit
Yoo Y. et al., 2017 [26]	-"-	55	44		87,3 ±12,9	88,6 ±12,5	87,9 ± 8,4	88,0 ±8,5***
Valverde S. et al., 2017 [38]	«MICCAI 2008» Собственный Own	105	-	53,5; 56,0	55,5-68,7; 77,0; 68,2			70,3; 73,0**	Тестирование на новых данных Tested with updated data
Goldberg- Zimring D. et al., 1998 [41]	Собственный Own	14	-		0,87	0,96
Boudraa A.O. et al., 2000 [44]	Собственный Own	10	-					0,65-0,87****
Geremia E. et al., 2010 [45]	«MICCAI 2008»	20	-		0,23-0,49			0,28-0,78 **
Yamamoto D. et al., 2010 [40]	Собственный Own	3	-		81,5
Shiee N. et al., 2010 [46]	To же Ibid	10	-	0,633	0,712
Garcia-Lorenzo D. et al., 2009 [47]	-"-	10	-	0,63
Cabezas M. et al., 2014 [35]	-"-	45	-	0,44-0,56					Мультицентровое исследование (данные из 3 организаций) Multicenter study (data provided by 3 organizations)
Crimi A. et al., 2014 [31]	-"-	25	-					0,80 ±0,13, 0,90 ±0,05 (коэффициент детерминации / R2 coefficient)	Мультицентровое исследование (данные из 5 организаций) Multicenter study (data provided by 5 organizations)
Theocharakis P. et al., 2009 [30]	-"-	11	18				88,46%		В дата-сет включены исследования с сосудистыми очагами Dataset includes data on focal areas of high vascular density
Khayati R. et al., 2008 [49]	-"-	20	-	0,74 ± 0,05				0,75 ±0,03****
Weiss N. et al., 2013 [50]	«MICCAI 2008»	20	-	63,0-71,0	33,0			37,0**
Gao J. et al., 2014 [51]	«MICCAI 2008»	20	-	0,55-0,59		0,98-0,99
Nakamura К. etal., 2009 [27]	Собственный Own	3	3					0,836****
Bijar A. etal., 2013 [52]	To же Ibid	20	-					0,7132- 0,8262****
Cerasa A. etal., 2012 [53]	-"-	11	-	19,7 ±12,01
Hackmack K. etal., 2012 [28]	-"-	41	26		92,68	96,15	94,42
Aymerich F.X. etal., 2011 [54]	-"-	4	-		0,760
Bendfeldt K. etal., 2012 [42]	-"-	50	-		76,9-82,3	76,9-88,2			Сравнение пациентов, получающих и не получающих медикаментозную терапию Comparison of patients who received drug therapy versus watch-and-wait patients
Kuwazuru J. etal., 2012 [56]	-"-	3	-		75,0-86,3			0,17-0,49****
Jain S. etal., 2016 [34]	-"-	22	-	0,60-0,89	0,42-0,57			0,25-0,48*	В дата-сет включены исследования, выполненные на 3 разных томографах. Данный алгоритм входит в программное обеспечение «Icometrix», сертифицированное в США как медицинское изделие The data set included images obtained from 3 different CT scanners. This algorithm is used by Icometrix software, certified as a medical device in the USA
Kanber B. etal., 2019 [56]	-"-	124	-		77,7 (95% ДИ 77,2-78,3)	77,8 (95% ДИ 77,3-78,2)	86,5	0,890***
Wei W, et al., 2018 [8]	-"-	18	10	0,83
Freire P.G.L. et al., 2018 [57]	-"-	5	-	0,9860 ±0,0012
Feng Y. et al., 2018 [58]	«ISBI 2015»	14	-	0,684	0,648			0,832**
Kazancli E. et al., 2018 [59]	Собственный Own	9	-	57,5 ±12,4	59,7 ±14,6
Roy S. et al., 2018 [60]	«ISBI 2015» собственный Own	100	-	0,5639				0,6040**	Тестирование на новых данных Tested with updated data
Sacca V. et al., 2019 [61]	Собственный Own	18	19		46,6-100,0	46,6-100,0	56,5-85,7
Zhang H. et al., 2020 [62]	To же Ibid	43	-	66,011
Gheshlaghi S.H. et al., 2019 [63]	-"-	35	35				0,99
McKinley R. et al., 2019 [33]	«Bernese MS cohort databank»	50	-		0,38-1,00		0,52-0,94	0,77-0,99***	Мультицентровое исследование (данные из 2 организаций). Тестирование на новых данных Multicenter study (data provided by 2 organizations). Tested with updated data
Aslani S. et al., 2019 [32]	«ISBI 2015» Собственный Own	56	-	0,6655-0,7067				0,6844-0,8032**
Salem M. et al., 2020 [48]	Собственный Own	60	-	0,83	83,09			9,36*

Примечание. *Частота ложноположительных случаев; **предсказательная ценность положительного результата; ***площадь под характеристической кривой; ****коэффициент подобия.

Note. *Frequency of false-positive outcomes; **prognostic value of positive findings; ***area under H and D curve; ****similarity index.

 

Наборы данных (дата-сеты)

Для разработки алгоритмов выявления РС по результатам МРТ группы исследователей использовали собственные и публичные наборы данных. Из числа публичных дата-сетов наиболее часто использовался «MICCAI 2008» — с ним работали 5 групп разработчиков, «ISBI 2015» — 3, «MS-100», «ISBI-61», «Bernese MS cohort» — по 1.

В выборки включались данные пациентов обоих полов старше 18 лет. Информация о демографических данных лиц, чьи исследования были включены в дата-сеты, представлена в 18 (46,2%) статьях, сведения о типе и клинических особенностях основного заболевания — в 13 (33,3%). При этом ремиттирующий и первично-прогрессирующий варианты течения встречались примерно в равном количестве статей.

В результате анализа публикаций установлена характерная ситуация: большинство разработчиков в наборы данных включали только целевые случаи с РС. Можно сказать, что их алгоритмы «оставались в неведении» о существовании изображений без признаков РС. Такой подход является грубейшей методической ошибкой. Лишь 8 (20,5%) разработчиков использовали наборы данных, включающие результаты МРТ здоровых лиц или исследования с сосудистыми очагами [24–30]. В наборы данных были включены следующие режимы сканирования: Т1-взвешенные изображения (Т1-ВИ), Т2-ВИ, Т2-ВИ с подавлением сигнала от свободной жидкости (англ. Fluid Attenuation Inversion Recovery (FLAIR)), изображения, взвешенные по протонной плотности (англ. Proton Density Weighted (PDW)). Большинство разработчиков использовали 3 вида изображений (Т1-ВИ, Т2-ВИ, FLAIR) — 12 (30,8%), только FLAIR — 6 (15,4%), все 4 вида изображений — 7 (18,0%). Сочетание FLAIR только с Т1-ВИ или только с Т2-ВИ сочли оптимальным 6 (15,4%) разработчиков. Т1-ВИ и Т2-ВИ применили 7 (18,0%). Остальные руководствовались иными сочетаниями видов изображений (однократные случаи). Одна группа авторов ограничилась только Т1-ВИ.

Примерно в равном количестве статей использованы результаты МРТ с толщиной срезов 1 или 3 мм.

В 15 (38,5%) работ исследования проводились на томографах с напряжённостью магнитного поля 3 Т, в 10 (25,7%) — 1,5 Т (большинство этих работы выполнены до 2013 г.). 5 (12,8%) исследователей в дата-сетах смешали исследования с аппаратов 1,5 и 3 Т. В 9 (23,0%) статьях данные о характеристиках томографов не представлены.

Данные об аппаратах, проекциях, иных деталях выполнения МРТ авторами статей приведены хаотично, что не позволяет выполнить обобщение.

Диагностическая точность

Подавляющее большинство авторов — 34 (87,2%) — использовали подход «leave-one-out», суть которого состоит в разделении имеющегося набора данных на выборку для обучения и выборку для оценки точности. При этом общий объём наборов данных колебался от 3 до 150 клинических случаев (в среднем 38 случаев при значениях медианы 23,5 и моды 20); 3 (7,7%) разработчика использовали более 100 случаев, 9 (23,1%) — 10 и менее.

Только 5 групп разработчиков использовали дата-сеты, сформированные из данных нескольких медицинских организаций: A. Crimi и соавт. — 25 случаев из 5 клиник [31], S. Aslani и соавт. — 56 случаев из собственного и из публичного дата-сета [32], R. McKinley и соавт. — 50 случаев из 2 медицинских организаций [33], S. Jain и соавт. — 22 случая с 3 разных томографов [34], М. Cabezas и соавт. — 45 случаев из 3 клиник [35].

Валидация алгоритмов на независимых данных проведена 5 (12,8%) разработчиками; причём для обучения алгоритмов использованы наиболее значительные объёмы данных (100 и более случаев). Для разработки и валидации R.E. Gabr и соавт. использовали набор данных из 1008 случаев, собранных из 68 медицинских организаций [36]. Отметим, что это самый объёмный дата-сет, использованный для обучения и валидации алгоритмов ИИ, направленных на выявление РС. R. McKinley и соавт. применяли два различных дата-сета из двух клиник: один — для обучения, второй — для тестирования [33]. Три группы исследователей использовали собственные наборы (37, 60 и 77 случаев) для обучения, а релевантные дата-сеты, находящиеся в открытом доступе (MICCAI 2008, ISBI 2015) — для тестирования точности [32, 37, 38].

Таким образом, доказательность показателей диагностической точности, заявляемых 87,2% разработчиков, крайне сомнительна. Вызывает недоумение использование для обу-чения и валидации дата-сетов из 3, 4, 5, 9, 10, 11, 14 случаев, а также исключительное обучение на результатах исследований с признаками РС. В таких ситуациях происходит фактически экспериментальная разработка алгоритмов, совершенно «оторванная» от реальных клинических условий. Минимальное количество разработчиков (5 (12,8%)) осознали необходимость мультицентрового подхода, т.е. формирования дата-сетов из данных нескольких медицинских организаций, тестирования разработок на независимых (новых для алгоритма) изображениях.

Оценку диагностической точности авторы статей проводили путем вычисления следующих показателей:

• коэффициенты сходства (Дайса–Сёренсена, индекс сходства);
• чувствительность и специфичность;
• общая точность;
• предсказательная ценность положительного или отрицательного результата;
• частота ложноположительных случаев (false positive rate);
• площадь под характеристической кривой;
• коэффициент детерминации.

Вместе с тем ни в одной статье не был соблюдён дизайн диагностического исследования [39]. Вычисления метрик авторы проводят бессистемно, дискретно. Например, приводятся данные о чувствительности, но отсутствует специфичность. Иногда есть попытки ввести собственные коэффициенты, видоизменить стандартные формулы. Такой подход нарушает принципы выполнения биомедицинских исследований. Для медицинской аудитории доказательность соответствующих публикаций минимальна. Большинство авторов (n = 20; 51,3%) использовали коэффициент Дайса–Сёренсена. Еще в 6 работах использован индекс сходства. Корректно привели данные о чувствительности и специфичности только 9 (23,1%) групп исследователей. Площадь под характеристической кривой использовали только 2 группы авторов. В целом для алгоритмов выявления РС на МРТ значения коэффициентов сходства колеблются в очень широком диапазоне (0,44–0,99); аналогичная ситуация для чувствительности (0,23–0,99), специфичности (0,12–0,99), общей точности (0,58–0,99).

С учётом методических дефектов и нерепрезентативности большинства дата-сетов (как было показано выше) проводить математическую обработку и метаанализ этих данных не имеет смысла.

Таким образом, качество включённых в обзор статей с позиций дизайна является низким. Представление показателей диагностической точности не соответствует принципам доказательной медицины. Довольно высокие уровни основных метрик (коэффициенты сходства, чувствительность, специфичность) нивелируются методическими ошибками при формировании исходных дата-сетов, отсутствием валидации на независимых данных. В силу малых объемов выборок и методических дефектов оценки точности результаты подавляющего большинства статей не отвечают критериям доказательности.

Одна из наиболее методически качественных работ — статья S. Valverde и соавт. [38]. Авторы предложили каскад свёрточных нейронных сетей для сегментации белого вещества и выявления типичных для РС поражений головного мозга. Для обучения модели и ее тестирования «leave-one-out» использован «экспериментальный» набор данных (публично доступный дата-сет «MICCAI 2008»; n = 45), а для независимой валидации — два собственных «клинических» набора (n = 35; n = 25), которые не были «известны» модели до тестирования. Чувствительность алгоритма на «экспериментальном» дата-сете составила 55,5–68,7%, на «клинических» — 77,0 и 68,2% соответственно. Значения коэффициента Дайса–Сёренсена для «клинических» наборов данных составили 53,5 и 56,0%, превосходя результаты для тестирования на «экспериментальном» дата-сете. Также авторы сравнили собственные результаты и данные литературы [38]. Полученные сведения наглядно продемонстрировали не только превосходство модели над аналогами, но и хорошую воспроизводимость результатов работы алгоритма. С клинической точки зрения, достигнутые значения метрик точности низки и вряд ли позволяют говорить даже об апробации в условиях практического здравоохранения; явно требуется дополнительное обучение модели. Но авторы придерживаются очень правильного методического подхода как к разработке алгоритмов, так и к их тестированию. Аналогичный подход применили T. Brosch и соавт., использовав собственный дата-сет для обучения, а два публичных («MICCAI 2008» и «ISBI 2015») — для тестирования своего алгоритма на новых данных [17]. Всего авторы использовали 377 случаев, достигнув чувствительность 51,6% и предсказательную ценность отрицательного результата 51,3%.

R.E. Gabr и соавт. реализовали модель на основе свёрточной нейронной сети с полностью связанными слоями [36]. В мультицентровом исследовании авторы использовали дата-сет из 1008 случаев, собранных из 68 медицинских организаций. Разработчики смогли получить значение коэффициента Дайса–Сёренсена 0,82 (95% ДИ 0,61–1,0). Особый интерес, с точки зрения методологии разработки и применения алгоритмов ИИ для выявления РС, представляет следующий факт. Авторы смогли убедительно доказать, что наибольшая чувствительность алгоритма (91% и более) достигается для очагов объемом 70 мм3.

Примечательно, что в описанных работах получены довольно скромные значения метрик диагностической точности. При этом в исследованиях по принципу «leave-one-out» чувствительность достигает 81,5% (обучение и тестирование на 3 случаях) [40], 87,0% (на 14 случаях) [41], 92,68% (на 67 случаях) [28], 98,77 (на 64 случаях) [24]. Аналогичная ситуация и с коэффициентами сходства. Без проверки точности на новых данных, без независимой валидации результатов у разработчиков создаётся иллюзия высокого качества алгоритмов, возможности «замены рентгенологов» с их помощью. Особо удивляет такая позиция при обучении и одновременной валидации алгоритмов на 3–9 изображениях. Принцип «leave-one-out» подходит для предварительной оценки точности на начальных этапах разработки, но по мере эволюции алгоритма для его тестирования надо обязательно применять новые данные, полученные на разных диагностических устройствах и в разных медицинских организациях.

Особо надо отметить две статьи, в которых сравнивались работы алгоритмов у разных групп пациентов: получавших или не получавших медикаментозную терапию препаратами, изменяющими течение РС [42]; имеющих различную степень неврологического дефицита по расширенной шкале оценки степени инвалидизаций Куртцке (англ. Expanded Disability Status Scale) [25]. В обоих исследованиях достигнуты средние уровни точности, свидетельствующие о необходимости дальнейшей работы над обучением алгоритмов. Однако выделение авторами разных клинических групп является правильным и перспективным подходом.

Выводы

1. Над задачей выявления РС путём автоматизированного анализа МРТ работает значительное число исследователей; предложено большое количество математических методик.
2. Предварительные результаты обнадёживают. Значения ключевых метрик диагностической точности в среднем достигают 75–85%. Это позволяет говорить о потенциальной реализуемости задачи автоматизированного выявления признаков РС на МРТ, а также о необходимости углублённых исследований.
3. Вместе с тем на момент подготовки обзора отсутствуют результаты клинической апробации алгоритмов ИИ для выявления РС, нет проспективных научных исследований точности и применимости. Независимое тестирование алгоритмов осуществляется только в единичных исследованиях; тогда как валидация на новых данных должна быть рутинной частью процесса разработки.
4. Для дальнейшего качественного развития алгоритмов ИИ для выявления и мониторинга РС требуется разработка клинических сценариев их применения, формирование методологии объективного тестирования (на принципах доказательной медицины, со стандартизацией критериев), проведение проспективных клинических апробаций.
5. Требуется обоснование стандартных требований к наборам данных, используемых для обучения алгоритмов, включая вопросы стандартизации, методологии подготовки (разметки) изображений, юридические аспекты.
6. Применение алгоритмов ИИ в контексте проблемы РС может рассматриваться по следующим направлениям:

• поддержка принятия решений по результатам первого МРТ (выявление характерных признаков РС, определение типа патологического процесса, прогнозирование);
• дифференциальная диагностика в сложных случаях (возможно с использованием клинических данных);
• подбор и оценка результативности терапии, выявление ранних признаков осложнений;
• контроль динамики патологического процесса.

Перечисленные направления должны быть разделены на отдельные проблемы, что, в том числе, будет являться предметом наших дальнейших исследований.

About the authors

Galina N. Chernyaeva

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: a.vladzimirsky@npcmr.ru
https://orcid.org/0000-0002-5066-5997

junior researcher

Россия, Moscow

Sergey P. Morozov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: a.vladzimirsky@npcmr.ru
ORCID iD: 0000-0001-6545-6170
https://orcid.org/0000-0001-6545-6170

D. Sci. (Med), Prof., Director

Россия, Moscow

Anton V. Vladzimirskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; I.M. Sechenov First Moscow State Medical University (Sechenov University)

Author for correspondence.
Email: a.vladzimirsky@npcmr.ru
ORCID iD: 0000-0002-2990-7736
https://orcid.org/0000-0002-2990-7736

D. Sci. (Med), Deputy Director for R&D

Россия, Moscow; Moscow

References

Supplementary files