Sensitivity and Specificity of the Diagnostic Method for Detecting α-Synuclein as a Histological Marker for Parkinson's Disease in Salivary Gland Tissues: a Systematic Review and Meta-analysis

Cover Page


Cite item

Full Text

Abstract

Immunohistochemistry of α-synuclein (α-syn), a marker for Parkinson's disease, in salivary gland (SG) biopsy specimens has been actively studied as a method of verification and early diagnosis. This systematic review and meta-analysis aim to analyze characteristics of study designs and evaluate pooled sensitivity and specificity.

The review included publications that were found by keyword search and met inclusion criteria. The meta-analysis of comparative studies was conducted using a univariate random-effects model to calculate pooled specificity and sensitivity.

The systematic review and meta-analysis included 16 and 13 clinical studies, respectively. Antibodies against modified α-syn, double detection, and incisional biopsy specimens of SGs were the most common approaches used in the studies. There is a need for clinical studies with quantitative data analysis. Approximately 15% of patients experienced adverse events, which were more common in case of fine-needle aspiration biopsy specimens of SGs. Pooled sensitivity and specificity (regardless of the anti-α-syn antibody type and SG size) were 76.6% and 98.0%, respectively. Sensitivity (76.3%) and specificity (99.3%) were higher when antibodies against phosphorylated α-syn and major SGs were used.

The most promising variant of the method involved double detection using antibodies against modified α-syn and markers of nerve fibers in incisional biopsy specimens of major SGs and quantitative data analysis. The meta-analysis revealed a possibility of developing this diagnostic method and implementing it into routine practice owing to its high sensitivity and specificity. Further studies employing quantitative data analysis are required to gain deeper insight into the method's role in verifying Parkinson's disease and informing the severity of neurodegeneration and disease prognosis.

Full Text

Введение

Общепризнанным стандартом достоверной диагностики болезни Паркинсона (БП) является посмертное гистологическое исследование с детекцией патологически модифицированного белка α-синуклеина (α-syn) в чёрной субстанции головного мозга [1]. Белок α-syn экспрессируется преимущественно в нервной системе и располагается в пресинаптических терминалях, где в норме участвует в транспорте везикул, регуляции высвобождения дофамина и внутриклеточном гомеостазе кальция [2].

Экзо- и эндогенные факторы, запускающие механизм модификации и агрегации α-syn, как и молекулярные процессы, непосредственно приводящие к накоплению агрегатов, остаются неизученными. К настоящему времени существуют лишь предположения о возможном влиянии полиморфизмов в генах риска, химических веществ, физического воздействия (например, травм головы), радиационного излучения на активацию окислительного стресса и нейровоспаления в нервной ткани, провоцирующих агрегацию α-syn [3]. Модифицированный — фосфорилированный или нитрозилированный — α-syn разобщает внутриклеточный транспорт, нарушает синаптическую передачу, усиливает окислительный стресс за счёт развития митохондриальных нарушений и способствует активации микроглии. Именно эти процессы впоследствии становятся основополагающими в развитии дисфункции нейронов, которая по мере прогрессирующего накопления агрегатов приводит к клиническим проявлениям БП [4]. Таким образом, несмотря на большое количество неизученных факторов и процессов в патогенезе, исследователями была определена ключевая роль модифицированного α-syn в развитии БП и возможность использования его в качестве гистологического маркера заболевания [4, 5].

Более 20 лет назад H. Braak и соавт. обосновали концепцию «кишечно-церебральной оси» при БП и формирования агрегатов α-syn в периферической нервной системе ещё перед их появлением в чёрной субстанции и задолго до развития типичных моторных симптомов БП [6]. Клинические исследования (КИ) показали, что такие агрегаты обнаруживаются при гистологическом исследовании образцов не только головного мозга, но и различных органов с обильной периферической иннервацией, что объясняет наличие немоторных симптомов БП, связанных с нарушением функции периферической нервной системы и возникающих, как правило, намного раньше двигательных нарушений [5, 7]. По результатам этих КИ было выдвинуто предположение о возможности прижизненной гистологической диагностики спорадической БП, основанной на выявлении ведущего маркера заболевания — патологического α-syn — в биопсийном материале доступных для изучения органов: кожи, кишечника, слюнных желёз (СЖ) [5, 8, 9].

В систематическом обзоре англоязычных публикаций авторы сделали вывод о возможности использования биопсии и гистологического исследования кожи и СЖ в качестве потенциальных диагностических методов при БП, исключив процедуру биопсии и гистологии кишечника из-за низкой частоты обнаружения агрегатов, соображений безопасности и высокой сложности взятия материала [9]. Однако, согласно работам других исследователей, использование кожных биоптатов в качестве материала для диагностики имеет ряд ограничений [10, 11]. Относительно высокая вероятность выявления агрегатов α-syn при исследовании кожи оказалась высокозависимой от места взятия материала и требовала изучения большого количества участков для взятия биопсии для получения удовлетворительных результатов. Кроме того, большинство исследований кожи было проведено с использованием метода гистологии замороженного среза — менее распространённого и доступного к проведению в лабораториях по всему миру в сравнении с парафиновыми гистологическими протоколами [10].

Некоторые исследователи считают, что основные проблемы в использовании СЖ в качестве материала для детекции α-syn могут быть связаны с высокой частотой забора тканей, окружающих железы (мышцы, жировая ткань, лимфатические узлы), а не собственно железистой ткани [9]. Необходимо при этом отметить, что указанные недостатки выявляются только при использовании в качестве объекта материала малых СЖ, полученного путём тонкоигольной аспирационной биопсии (ТИБ), позволяющей, хотя и с минимальной инвазивностью, получить лишь небольшой (согласно исследованиям — 7–34 мм3) объём материала для изучения [12, 13]. Однако известно, что использование крупных желёз и инцизионной биопсии (ИБ), в ходе которой проводится извлечение части СЖ объё-мом 84–390 мм3 через небольшой (до 1 см в длину) разрез, значительно нивелирует проблемы недостаточности объёма материала для исследования [14–17]. К настоящему времени в отечественной литературе не опубликовано метаанализов с обзором особенностей различных методик иммуногистохимического (ИГХ) исследования биопсий СЖ, а также с анализом безопасности по данным всех КИ. Единственный метаанализ по данной теме был проведён зарубежными авторами около 5 лет назад и не включал публикации российских авторов [9].

Целью настоящего систематического обзора и метаанализа являлась оценка объединённой чувствительности и специфичности метода ИГХ-детекции модифицированного α-syn в ткани СЖ по данным КИ, опубликованных в России и за рубежом. Дополнительными целями работы также являлись оценка безопасности и анализ особенностей дизайнов КИ для определения наиболее перспективной методики.

Методика отбора публикаций

В систематический обзор включались все КИ на английском и русском языках, посвящённые изучению детекции α-syn в ткани СЖ пациентов с верифицированным диагнозом «болезнь Паркинсона», вне зависимости от того, прижизненно или посмертно была проведена диагностика. Поиск осуществлялся с использованием баз данных PubMed и Google Scholar по ключевым словам: «болезнь Паркинсона», «биопсия», «слюнная железа», «синуклеин», «Parkinson's disease», «biopsy», «salivary gland», «synuclein». Публикации без доступа к полному тексту не рассматривались в качестве материала для обзора в связи с невозможностью анализа информации о дизайне и результатов исследования. Дублирующие публикации, а также статьи, посвящённые исключительно методике проведения гистологического исследования биопсий СЖ у пациентов с БП, без статистической обработки и анализа результатов не включались в обзор. Для проведения метаанализа из пула публикаций, удовлетворяющих перечисленным выше критериям, отбирали публикации по сравнительным КИ с участием пациентов с БП и группы контроля.

При рассмотрении публикаций учитывали данные о количестве и диагнозах участников, методах верификации диагноза, использовании различных тестов для оценки состояния пациентов с БП, об исследуемом материале и способе его получения, используемых ИГХ-маркерах, методах оценки результатов (качественный/полуколичественный/количественный), количестве и характере нежелательных явлений (НЯ) на фоне вмешательства, а также данные, необходимые для оценки чувствительности и специфичности. Результаты оценки наличия агрегатов α-syn в материале пациентов с другими нейродегенеративными заболеваниями, кроме БП, не учитывали в расчётах объединённой чувствительности и специфичности, так как таких пациентов невозможно отнести ни к группе контроля (из-за более высокой вероятности обнаружения α-syn в материале, чем у здоровых добровольцев), ни к группе пациентов с БП.

Статистический анализ данных

Статистический анализ и обработку данных производили с помощью языка программирования Python и модуля SciPy1, а также программы «MetaDiSc 2.0», специально разработанной для метаанализа исследований точности диагностических тестов [18]. Методы описательной статистики включали определение медианы и межквартильного интервала, вычисление долей. Для вычисления объединённой специфичности и чувствительности, диагностического отношения шансов (diagnostic odds ratio, DOR), вероятности положительного результата теста при отсутствии заболевания (false positive rate, FPR), положительного (positive likelihood ratio, PLR) и отрицательного (negative likelihood ratio, NLR) отношения правдоподобия использовали унивариантную модель случайных эффектов, рекомендованную для применения в случае анализа небольшого количества достаточно неоднородных исследований. Гетерогенность определяли с помощью I2-критерия (диапазон значений от 0 до 100%), который позволяет выявить долю вариабельности между исследованиями.

Общая характеристика дизайна и участников исследований

Проанализировано 16 публикаций, удовлетворяющих критериям отбора, из которых 14 (87,5%) были опубликованы на английском языке в базе данных PubMed в 2010–2023 г. [14–17, 19–28] (таблица, рис. 1). Дизайн всех КИ был открытым, рандомизация не проводилась. Доля сравнительных КИ с участием контрольной группы пациентов, проходивших процедуры КИ, аналогичные таковым в исследуемой группе, составила 81,2% (n = 13) [13–15, 17, 19–27]. Данные этих КИ использовали в дальнейшем для построения таблиц 2 × 2 и метаанализа чувствительности и специфичности. Результаты несравнительных КИ использовали в анализе безопасности и учитывали при рассмотрении особенностей методик.

 

Рис. 1. Последовательность отбора публикаций для систематического обзора и метаанализа.

Fig. 1. Study selection for systematic review and meta-analysis.

 

Данные публикаций, соответствующих критериям отбора

Data from the articles meeting the inclusion criteria

No.

Источник

Source

Количество участников

Number of patients

Количество участников, прошедших биопсию и ИГХ-исследование

Number of patients undergoing biopsy and immunohistochemistry

Количество участников с БП, прошедших биопсию и ИГХ-исследование

Number of PD patients undergoing biopsy and immunohistochemistry

Верификация диагноза БП (помимо клинических критериев Movement Disorder Society) PD diagnosis verification (beyond the Movement Disorder Society diagnostic criteria)

Стадия по Hoehn–Yahr

Hoehn and Yahr stage

БП по этиологии

PD etiology

Количество участников группы контроля, прошедших биопсию и ИГХ-исследование

Number of controls undergoing biopsy and IHC

Объект исследования

Sampling site

Способ взятия материала

Sampling technique

Ab

АТ для двойной детекции

Ab for double detection

Истинно положительный результат

True-positive result

Ложноположительный результат

False-positive result

Метод анализа результатов

Data analysis

1

Cersósimo M.G. et al. (2011)

6

6

3

Н/п

NA

2

Идиопатическая

Idiopathic

3

Малые СЖ

Minor SGs

ИБ

IB

α-syn

Нейрофиламенты

Neurofilaments

2

0

Шкала

Scale +/–

2

Adler C.H. et al. (2014)

15

12

12

Н/п

NA

Н/п

NA

Идиопатическая

Idiopathic

Н/п

NA

Подчелюстная СЖ/малые СЖ

Submandibular/ minor SGs

ТИБ

FNAB

pS129-α-syn

Н/п

NA

9

Н/п

NA

Шкала

Scale +/–

3

Adler C.H. et al. (2016)

35

28

19

DAT-сканирование

DAT scan

Н/п

NA

Идиопатическая

Idiopathic

9

Подчелюстная СЖ

Submandibular SG

ТИБ

FNAB

pS129-α-syn

Н/п

NA

14

2

Шкала

Scale +/–

4

Beach T.G. et al. (2016)

228

228

46

Н/п

NA

Н/п

NA

Идиопатическая

Idiopathic

79

Подъязычная СЖ

Sublingual SG

ИБ

IB

pS129-α-syn

Н/п

NA

42

0

Шкала

Scale +/–

5

Folgoas E. et al. (2013)

27

27

16

Н/п

NA

Н/п

NA

Идиопатическая

Idiopathic

9

Малые СЖ

Minor SGs

ИБ

IB

pS129-α-syn

Н/п

NA

3

2

Шкала от 0 до 5

0–5 scale

6

Gao L. et al. (2015)

26

26

13

DAT-сканирование

DAT scan

1,7

Идиопатическая

Idiopathic

13

Малые СЖ

Minor SGs

ИБ

IB

α-syn

Н/п

NA

9

0

Шкала

Scale +/–

7

Vilas D. et al. (2016)

71

47

12

Н/п

NA

2

Идиопатическая

Idiopathic

26

Подчелюстная СЖ

Submandibular SG

ТИБ

FNAB

α-syn/pS129-α-syn

Тирозингидроксилаза

Tyrosine hydroxylase

8

0

Шкала

Scale +/–

8

Carletti R. et al. (2017)

14

14

7

Н/п

NA

Н/п

NA

Идиопатическая

Idiopathic

7

Малые СЖ

Minor SGs

ИБ

IB

α-syn/pS129-α-syn

Н/п

NA

5

0

Количественный метод

Quantitative

9

Shin J. et al. (2019)

16

16

16

Н/п

NA

1,8

Идиопатическая

Idiopathic

14

Подчелюстная СЖ

Submandibular SG

ТИБ/ИБ

FNAB/IB

pS129-α-syn

S100

8

0

Шкала

Scale +/–

10

Iranzo A. et al. (2018)

118

118

13

Транскраниальная сонография чёрной субстанции

Transcranial sonography of the substantia nigra

2,4

Идиопатическая

Idiopathic

33

Малые СЖ

Minor SGs

ИБ

IB

α-syn/pS129-α-syn

Тирозингидроксилаза/ PGP 9,5

Tyrosine-hydroxylase/ PGP 9.5

Iodotyrosine deiodinase

7

1

Шкала от 0 до 4

0–4 scale

No.

Источник

Source

Количество участников

Number of patients

Количество участников, прошедших биопсию и ИГХ-исследование

Number of patients undergoing biopsy and immunohistochemistry

Количество участников с БП, прошедших биопсию и ИГХ-исследование

Number of PD patients undergoing biopsy and immunohistochemistry

Верификация диагноза БП (помимо клинических критериев Movement Disorder Society) PD diagnosis verification (beyond the Movement Disorder Society diagnostic criteria)

Стадия по Hoehn–Yahr

Hoehn and Yahr stage

БП по этиологии

PD etiology

Количество участников группы контроля, прошедших биопсию и ИГХ-исследование

Number of controls undergoing biopsy and IHC

Объект исследования

Sampling site

Способ взятия материала

Sampling technique

Ab

АТ для двойной детекции

Ab for double detection

Истинно положительный результат

True-positive result

Ложноположительный результат

False-positive result

Метод анализа результатов

Data analysis

11

Fernández-Espejo E. et al. (2021)

80

75

45

DAT-сканирование

DAT scan

2,1

Идиопатическая

Idiopathic

30

Околоушная СЖ

Parotid SG

ТИБ

FNAB

Нитрозили-

рованному α-syn

Nitrosylated α-syn

Йодотирозин деиодиназа

Iodotyrosine deiodinase

45

0

Шкала от 0 до 5

0–5 scale

12

Ma L.-Y. et al. (2019)

26

15

8

DAT-сканирование

DAT scan

1,6

Идиопатическая

Idiopathic

7

Малые СЖ

Minor SGs

ИБ

IB

Нитрозилированному α-syn

Nitrosylated α-syn

Н/п

NA

8

0

Шкала Scale +/–

13

Mangone G. et al. (2022)

61

61

27

Магнитно-резонансная томография

Magnetic resonance imaging

2

Идиопатическая

Idiopathic

18

Малые СЖ

Minor SGs

ТИБ

FNAB

α-syn

Н/п

NA

15

7

Шкала Scale +/–

14

Shin J.H. et al. (2020)

3

3

3

Н/п

NA

Н/п

NA

Семейная форма

Familial

Н/п

NA

Малые СЖ

Minor SGs

ТИБ

FNAB

pS129-α-syn

Нейрофиламенты

Neurofilaments

0

Н/п

NA

Шкала от 0 до 4

0–4 scale

15

Khudoerkov R.M. et al. (2016)

10

10

8

Н/п

NA

2,1

Идиопатическая

Idiopathic

2

Крупные СЖ

Major SGs

ИБ

IB

pS129-α-syn/α-syn

β-Tубулин/ тирозингидроксилаза

β-Tubulin/ tyrosine hydroxylase

6

1

Шкала от 0 до 4

0–4 scale

16

Khacheva K.K. et al. (2023)

12

12

12

Транскраниальная сонография чёрной субстанции

Transcranial sonography of the substantia nigra

2,3

Идиопатическая

Idiopathic

Н/п

NA

Подъязычная СЖ

Sublingual gland

ИБ

IB

pS129-α-syn

PGP 9,5

12

Н/п

NA

Количественный метод

Quantitative

 

Всего

748

698

260

Н/п

NA

2 [1, 85; 2, 1]

 

236

       

 

Общее количество участников в 16 КИ составило 762, из них 712 прошли все процедуры исследования, в том числе биопсию СЖ с последующим ИГХ-анализом. Клинически верифицированный диагноз БП был установлен у 288 пациентов, из которых все процедуры исследования прошли 260. В 15 КИ БП была спорадической (идиопатическая форма), в 1 КИ — генетической, что подтверждалось результатами генетического анализа. Диагноз БП в 6 КИ устанавливался только с учётом клинических критериев Movement Disorder Society, а в 5 КИ — с учётом данных однофотонной эмиссионной томографии с транспортёром дофамина. В 3 КИ также проводились магнитно-резонансная томография головного мозга и транскраниальная сонография чёрной субстанции [22, 25, 27]. Стадия БП по функциональной шкале Hoehn–Yahr у пациентов была описана в 10 (62,5%) публикациях (среднее значение по всем КИ — 2 [Q1–Q3: 1,85–2,10]) [17, 21, 23, 24, 28]. Средняя длительность заболевания БП была точно указана в 15 КИ (среднее значение по всем КИ — 6,51 ± 3,70 года) [12, 13, 15, 19–21, 23–28].

Участниками группы контроля, прошедшими биопсию, являлись здоровые добровольцы или пациенты без неврологических заболеваний с патологиями СЖ (12 КИ; n = 236). Также в 4 КИ в отдельные группы были включены пациенты (n = 200) с другими нейродегенеративными заболеваниями (деменция с тельцами Леви, болезнь Альцгеймера) и идиопатическим расстройством фазы сна с быстрыми движениями глаз (известным предиктором развития БП) [19, 21, 23, 26].

Особенности методик иммуногистохимической оценки материала слюнных желёз

В качестве материала для исследования в половине КИ были использованы малые СЖ [15, 16, 18, 22, 23, 25–27] (таблица). В КИ, предполагавших анализ материала крупных СЖ, использовались подчелюстные (4 КИ), подъязычная (2 КИ) и околоушная СЖ (1 КИ); в 1 КИ точная локализация использованной для изучения крупной СЖ не была указана [12–14, 17, 19, 21, 24, 28].

В 15 (93,7%) КИ для изучения был использован биопсийный материал, взятый прижизненно, в 1 КИ исследовался материал, взятый посмертно. В 10 КИ из 16 ткань СЖ получали путём ИБ, в остальных КИ — путём ТИБ. В работах, использовавших ТИБ (особенно в тех, что были проведены без сопутствующего ультразвукового контроля), была обнаружена высокая вероятность забора стороннего материала, не имеющего отношения к железистой части СЖ, в связи с чем требовалось повторение процедуры или исключение пациента из исследования [13, 21]. Малый объём получаемой ткани, как правило, позволял определить только наличие или отсутствие включений α-syn без возможности оценки степени и особенностей распространения включений в полной мере [15, 16, 20, 23, 25, 27]. Метод ИБ был лишён указанных недостатков и позволял получить образцы железистой ткани в необходимом объёме.

В 2 (11%) КИ дополнительно сравнивали результаты гистологического изучения СЖ с данными нейровизуализации (магнитно-резонансная томография и транскраниальная сонография чёрной субстанции) [26, 28]. В обоих КИ не отмечено корреляции между результатами нейровизуализации и гистологического метода.

В 8 КИ проводили дополнительное тестирование состояния моторных и немоторных функций пациентов с БП с помощью различных тестов и опросников: унифицированная шкала оценки БП, шкала оценки немоторных симптомов, опросник для оценки немоторных симптомов, опросник качества жизни пациентов с БП, Монреальская шкала оценки когнитивных функций, краткая шкала оценки психического статуса, шкала сонливости Эпворта, тест оценки обоняния университета Пенсильвании [13, 16, 20, 21, 23, 25, 26, 28]. Однако только в 1 КИ оценивали возможную взаимосвязь клинических симптомов с результатами гистологического исследования и обнаружили корреляцию между распространённостью включений фосфорилированного по серину-129 α-syn (pS129-α-syn) с выраженностью немоторных симптомов, нарушениями сна и тяжестью эмоциональных расстройств [28]. Корреляции со стадией по Hoehn–Yahr в данном исследовании не выявлено.

Во всех КИ проводилось ИГХ-исследование наличия в нервной ткани СЖ различных форм α-syn: pS129-α-syn (11 КИ; 68,7% от всех анализируемых КИ), нитрозилированного α-syn (2 КИ; 12,5%), α-syn без посттрансляционных модифицикаций (7 КИ; 43,7%).

В 7 (43,7%) КИ применяли метод двойной детекции с использованием антител (АТ) к α-syn и к маркерам нервных волокон — тирозингидроксилазе (3 КИ), PGP 9.5 (2 КИ), нейрофиламентам (2 КИ), β-тубулину (1 КИ) [14, 15, 17, 21, 23, 27, 28]. Во всех КИ для ИГХ-исследований использовался парафинизированный материал. В КИ с детекцией pS129-α-syn использовали АТ 3 видов: мышиные моноклональные АТ к pS129-α-syn («WAKO», clone pSyn#64 или «Abcam», clone 81A, ab184674) и/или кроличьи моноклональные АТ к pS129-α-syn («Abcam», clone EP1536Y). В остальном для КИ была характерна большая вариабельность гистологических и ИГХ-методик, а также используемых клонов АТ. Наибольшее количество истинно положительных результатов (более 70% положительных результатов от всех пациентов с БП) получено в КИ с использованием нитрозилированного α-syn и pS129-α-syn при двойной детекции.

В 5 (31,2%) КИ для оценки результатов ИГХ-исследования применяли полуколичественный метод оценки степени распространённости включений α-syn в баллах, в 9 (56,2%) КИ — качественный метод с учётом лишь наличия или отсутствия включений. Только 2 (12,5%) КИ подразумевали применение количественных методов оценки [22, 28]. В одном из них измерение распространённости проводили с помощью программы анализа изображений «ImageJ» с последующим расчётом доли включений pS129-α-syn и немодифицированного α-syn относительно нервных волокон, меченных АТ к S100, и относительно общей площади материала на срезе. В результате расчётов было показано, что соотношение немодифицированного α-syn к нервным волокнам в группе пациентов с БП было ниже, чем в группе контроля, за счёт дегенерации нервных волокон, в то время как наличие pS129-α-syn и, соответственно, высокое его отношение к нервным волокнам было характерно только для пациентов с БП [22]. В другом КИ измерение проводили с помощью программы, написанной на языке программирования Python 3.9, с использованием библиотеки Open CV для расчётов и Scikit-image для обработки фотографий с расчётом абсолютного значения площади включений pS129-α-syn и соотношения площади включений к площади нервных волокон, меченных АТ к PGP 9.5. pS129-α-syn выявлялся у всех пациентов с БП, а величина соотношения прямо коррелировала с результатами оценки клинического состояния и выраженности немоторных симптомов [28].

Во всех КИ включения α-syn в различных модификациях были обнаружены в материале СЖ пациентов с БП. Доля пациентов с БП с истинно положительным результатом (то есть с наличием включений модифицированного α-syn у пациентов с БП), превышающая 70%, была обнаружена в 8 (50%) КИ, из них 6 КИ являлись сравнительными (46,1% сравнительных КИ) [12, 13, 17, 19, 22, 24, 25, 28]. Среди указанных 8 КИ 62,5% составляли КИ с ИБ СЖ, 75% — с ИГХ-реакцией на материале крупных СЖ.

Доля положительных результатов достигала 100% в 3 (18,75%) КИ, из которых 2 были сравнительными (15% сравнительных КИ) [24, 25, 28]. Среди указанных 3 КИ с долей положительных результатов, равной 100%, 2 КИ были проведены с использованием материала крупных СЖ [24, 28].

В 5 (31,2%) КИ редкие включения α-syn были обнаружены у пациентов контрольной группы без БП, при этом в половине из них в качестве основного маркера был использован немодифицированный α-syn без присоединённых к нему фосфорных или азотистых остатков [13, 17, 20, 23, 26]. Эти случаи авторы КИ относили к вероятным ранним (доклиническим) случаям БП или дефектам ИГХ-окрашивания [13, 17, 22]. В пользу такого предположения выступает известный факт обнаружения телец Леви в посмертных исследованиях головного мозга примерно у 10–20% людей старше 60 лет без признаков паркинсонизма или деменции в течение жизни [29]. Также было показано, что немодифицированный α-syn, обнаруженный у контрольной группы в 2 КИ, в норме достаточно часто встречается в периферической нервной системе здоровых людей без признаков нейродегенеративного процесса [17, 23].

Накопление модифицированного α-syn было отмечено и у некоторых пациентов с другими нейродегенеративными заболеваниями. Так, положительный результат по наличию pS129-α-syn и нитрозилированного α-syn был характерен для пациентов с болезнью Альцгеймера и с деменцией с тельцами Леви в 4 КИ [16, 21, 23, 26].

Агрегаты α-syn были найдены у 43,8, 50,0 и 89% пациентов с идиопатическим расстройством фазы сна с быстрыми движениями глаз в 3 КИ [21, 23, 26]. Идиопатическое расстройство фазы сна с быстрыми движениями глаз в отсутствие других симптомов рассматривается в качестве продромальной стадии нейродегенеративного процесса и с течением времени прогрессирует до клинически определяемой БП с вероятностью 80% [21]. Положительный результат у этой группы участников, вероятно, был обусловлен начальным этапом развития синуклеинопатии.

Анализ безопасности проводился на основании 15 КИ, в которых осуществлялась прижизненная оценка включений α-syn в материале СЖ. НЯ описаны в 4 (26,6%) КИ, из них 3 КИ были проведены с использованием ТИБ (50% от всех КИ с ТИБ) и 1 КИ — с применением ИБ (10% от всех КИ с ИБ). Общее количество пациентов с НЯ составило 77 человек (14,8% от общего количества всех участников (n = 520), прошедших ИБ в 15 КИ). Не выявлено ни одного серьёзного НЯ. Наиболее распространёнными НЯ были временный отёк, небольшое кровоизлияние, боль в области биопсии. Реже встречались умеренная боль в горле и небольшие кровоизлияния в месте вмешательства (в случае ТИБ). Все НЯ были преходящими, лёгкой степени тяжести и не требовали дополнительного медикаментозного или хирургического вмешательства для их купирования.

Чувствительность и специфичность иммуногистохимических методов выявления α-синуклеина в слюнных железах

Для метаанализа из 16 КИ были отобраны 13 сравнительных КИ, в которых проводили сопоставление выявляемости модицифицированного и немодицифированного α-syn с помощью соответствующих АТ в материале малых и крупных СЖ у пациентов с БП и у участников группы контроля без нейродегенеративных заболеваний [13–17, 19–26]. Общее количество участников, прошедших биопсию, в 13 КИ составило 685 человек, из них 223 пациента имели клинически установленный диагноз БП.

Объединённая чувствительность по всем 13 сравнительным КИ с группой контроля вне зависимости от вида использованных АТ к α-syn и материала для исследования (то есть с учётом всех КИ, проведённых на материале мелких и крупных СЖ) составила 0,749 (95% доверительный интервал (ДИ) 0,575–0; I2 = 52%), специфичность — 0,984 (95% ДИ 0,855–0,999; I2 = 0,0), DOR — 188,33 (95% ДИ 15,42–2299,96), FPR — 0,016 (95% ДИ 0,001–0,145), PLR — 48,02 (95% ДИ 4,6–501,25), NLR — 0,255 (95% ДИ 0,14–0,46) (рис. 2).

 

Рис. 2. Объединённая чувствительность (А) и специфичность (В) по сравнительным КИ для методов детекции α-syn в СЖ пациентов с БП и в группе контроля вне зависимости от типа использованных АТ к α-syn.

Здесь и на рис. 3, 4: ИП — истинно положительный результат; ИО — истинно отрицательный результат; ЛП — ложноположительный результат; ЛО — ложноотрицательный результат.

Fig. 2. Pooled sensitivity (A) and specificity (B) across all the comparative studies for methods of detecting α-syn in SGs of PD patients and controls, regardless of anti-α-synuclein Abs.

Here and in Fig. 3 and 4: TP, true-positive result; TN, true-negative result; FP, false-positive result; FN, false-negative result.

 

Объединённая чувствительность по 8 сравнительным КИ [13, 14, 17, 19–23], в которых использовались АТ только к pS129-α-syn, составила 0,66 (95% ДИ 0,476–0,800; I2 = 70,6%), специфичность — 0,974 (95% ДИ 0,840–0,996; I2 = 0,0), DOR — 71,4 (95% ДИ 8,81–578,76), FPR — 0,026 (95% ДИ 0,004–0,160), PLR — 24,96 (95% ДИ 3,67–169,50), NLR — 0,349 (95% ДИ 0,211–0,578) (рис. 3).

 

Рис. 3. Объединённая чувствительность (А) и специфичность (В) по сравнительным КИ для методов детекции α-syn в СЖ пациентов с БП и в группе контроля, в которых использовались АТ к pS129-α-syn.

Fig. 3. Pooled sensitivity (A) and specificity (B) across the comparative studies for methods of detecting α-syn in SGs of PD patients and controls using anti-pS129-α-syn Abs.

 

Объединённая чувствительность по 5 сравнительным КИ [13, 14, 17, 19, 21], в которых использовались АТ только к pS129-α-syn и крупные СЖ в качестве материала, составила 0,761 (95% ДИ 0,608–0,993; I2 = 55.6%), специфичность — 0,993 (95% ДИ 0,197–1,000; I2 = 0,0), DOR — 460,08 (95% ДИ 0,75–281555,50), FPR — 0,007 (95% ДИ 0–0,803), PLR — 110,67 (95% ДИ 0,196–62405,980), NLR — 0,241 (95% ДИ 0,139–0,420) (рис. 4).

 

Рис. 4. Объединённая чувствительность (А) и специфичность (В) по сравнительным КИ для методов детекции α-syn в СЖ пациентов с БП и в группе контроля, в которых использовались АТ к pS129-α-syn и крупные СЖ в качестве материала для исследования.

Fig. 4. Pooled sensitivity (A) and specificity (B) across the comparative studies for methods of detecting α-syn in SGs of PD patients and controls using anti-pS129-α-syn Abs and major SG specimens.

 

Таким образом, при использовании в качестве материала крупных СЖ пациентов с БП и ИГХ-метода с детекцией pS129-α-syn выявлены наибольшие показатели чувствительности (76,3%) и специфичности (99,3%). Тем не менее, даже в отсутствие спецификации деталей методики, чувствительность биопсийного метода в отношении выявления маркеров БП составляет 75,0%, специфичность — 98,4%.

Обсуждение

Результаты систематического обзора, включающего 16 КИ с участием 260 пациентов с БП, прошедших биопсию СЖ с дальнейшей ИГХ-оценкой включений маркера БП α-syn, продемонстрировали достаточно высокую значимость метода в диагностике идиопатической БП. Для подавляющего большинства КИ было характерно проведение анализа результатов в сравнении с группой контроля. Более чем в 80% работ при ИГХ-исследовании использовали АТ к наиболее характерным для БП модифицированным формам α-syn, в 50% — применяли наиболее эффективный метод двойной детекции. Обработка результатов в большинстве КИ подразумевала только качественную оценку, намного реже использовался полуколичественный метод. Количественный анализ полученных результатов детекции был описан только в 2 недавних КИ. Несмотря на то что большая часть рассмотренных работ предусматривала использование стандартных и эффективных гистологических и ИГХ-методов, которые достаточно легко воспроизводимы в условиях патолого-анатомических лабораторий и не создают ограничений для широкого применения, отсутствие подходов для проведения количественной оценки степени распространения включений α-syn на ранних этапах изучения метода могло служить значимым препятствием для проведения большего количества КИ и внедрения его в клиническую практику.

В целом, вне зависимости от использования качественного или количественного метода оценки результата, эффективность ИГХ-метода в отношении верификации БП при использовании АТ к модифицированному α-syn в КИ была достаточно высокой: доля выявленных истинно положительных пациентов превышала 70% в половине всех КИ независимо от наличия группы сравнения и в 46% сравнительных КИ. В пятой части всех КИ доля положительных результатов достигала 100%.

Безопасность прижизненного биопсийного метода была оценена как удовлетворительная — доля пациентов с НЯ лёгкой тяжести составила около 15% по всем КИ. НЯ чаще отмечались в КИ с использованием ТИБ в качестве способа получения материала, чем в КИ с ИБ.

По результатам метаанализа объединённая чувствительность и специфичность метода оценки наличия маркера БП в материале СЖ без учёта вида АТ к α-syn и размера СЖ составили 76,6 и 98,0% соответственно. При анализе КИ с использованием АТ к pS129-α-syn без спецификации в отношении величины исследуемой СЖ отмечалось снижение чувствительности метода до 66% при специфичности 97%. Анализ КИ, в которых использовались АТ только к pS129-α-syn и крупные СЖ в качестве материала, продемонстрировал бóльшую чувствительность (76,3%) и специфичность (99,3%) такого метода по сравнению с остальными, что могло быть связано с большей вероятностью нахождения агрегатов в материале, имеющем более обильную моноаминергическую иннервацию, а также со значимо более высокой распространённостью форм α-syn с посттрансляционной модификацией среди пациентов с нейродегенеративными заболеваниями по сравнению со здоровыми людьми [31]. Последнее заключение подтверждается не только данными литературы, но и полученным в метаанализе объединённым значением PLR = 110,6, которое свидетельствует о том, что вероятность обнаружения модифицированного α-syn у пациентов с БП с помощью биопсийного метода с ИГХ-исследованием в 100 раз выше, чем у здоровых людей. Значительное превышение PLR общепринятой границы, равной 10, позволяет трактовать полученный результат как достаточный для суждения о высокой способности метода выявлять изучаемый маркер БП. По результатам метаанализа величина отношения шансов для диагностических исследований по выявлению АТ к pS129-α-syn в материале крупных СЖ была большой (460,08), что может свидетельствовать о потенциально высокой эффективности такого метода в отношении дифференциации испытуемых по наличию или отсутствию БП. Необходимо отметить отсутствие значимого колебания значений объединённой специфичности (с 0,974 до 0,993) при последовательном исключении из анализа работ в зависимости от вида использованных в них АТ и материала для исследования.

Интерпретируя полученный результат на основании данных о чувствительности с точки зрения клинической практики, можно заключить, что у 76% пациентов, прошедших ИГХ-оценку наличия включений pS129-α-syn в крупных СЖ, с большой долей вероятности подтверждается диагноз БП, установленный ранее с помощью клинических критериев Movement Disorder Society. При этом вероятность того, что с помощью этого метода здоровые люди будут ложноположительно диагностированы как пациенты с БП, составляет всего 0,7% (на основании данных о специфичности). Однако нельзя исключить, что ложноположительные участники данного диагностического теста находятся в группе риска развития БП в будущем, а обнаружение в материале включений модифицированного α-syn может свидетельствовать о начале нейродегенеративного процесса, который, по-видимому, начинается в нервной ткани за десятилетия до типичной клинической манифестации заболевания [32].

Проведённое исследование является первым в российской научной литературе метаанализом в области оценки значимости ИГХ-диагностики маркера БП α-syn в качестве диагностического метода. Зарубежный метаанализ англоязычных работ не включал в себя публикации российских авторов и некоторые ранние публикации с результатами посмертного ИГХ-исследования материала СЖ, полученного при ИБ [9]. В целом результаты объединённой чувствительности 5 сравнительных КИ в нашем случае и 3 КИ в другом метаанализе были сопоставимыми по значению объединённой специфичности: 0,99 в настоящем метаанализе и 0,96 в метаанализе 2019 г. [9]. Разница между значениями объединённой чувствительности в данном исследовании по сравнению с таковыми в ранее проведённом метаанализе составила 10,3% (76,3% против 66,0% соответственно). Полученное различие, вероятно, связано с несколько бóльшим количеством проанализированных КИ в настоящей работе.

Несмотря на преимущества данного метаанализа и его ценность для критической оценки диагностического ИГХ-метода, у проведённого исследования существуют ограничения. Во-первых, оригинальные КИ, включённые в анализ, были небольшими по объёму выборки и имели определённую гетерогенность, которая могла в некоторой степени повлиять на результаты. Во-вторых, часть публикаций не смогла удовлетворить критериям отбора по причине отсутствия полных текстов в общем доступе, поэтому некоторые КИ и их результаты, способные повлиять на значения чувствительности и специфичности, не были оценены.

Выводы

Результаты метаанализа позволяют сделать вывод о возможности дальнейшего развития метода детекции модифицированного α-syn в материале крупных СЖ и его внедрения в клинику в качестве диагностического. Чувствительность и специфичность метода являются достаточно высокими, однако требуется сравнительный анализ с другими методами диагностики БП. Необходимы также дальнейшие исследования с количественной оценкой результатов для получения наиболее полного представления о значимости метода не только для верификации диагноза БП, но и для получения представлений о выраженности нейродегенеративного процесса и, соответственно, прогнозе течения заболевания.

 

1 Python SciPy scientific computation library. URL: https://scipy.org

×

About the authors

Kristina K. Khacheva

Research Center of Neurology

Author for correspondence.
Email: christina.khacheva@gmail.com
ORCID iD: 0000-0001-9441-4797

neurologist, laboratory assistant, Laboratory of neuromorphology, Brain Institute

Россия, Moscow

Sergey N. Illarioshkin

Research Center of Neurology

Email: christina.khacheva@gmail.com
ORCID iD: 0000-0002-2704-6282

D. Sci. (Med.), prof., RAS Full Member, Director, Brain Institute, Deputy director

Россия, Moscow

Alexey V. Karabanov

Research Center of Neurology

Email: christina.khacheva@gmail.com
ORCID iD: 0000-0002-2174-2412

Cand. Sci. (Med.), neurologist, Consulting and diagnostic department

Россия, Moscow

References

  1. McKeith I.G., Boeve B.F., Dickson D.W. et al. Diagnosis and management of dementia with Lewy bodies: Fourth consensus report of the DLB Consortium. Neurology. 2017;89(1):88–100. doi: 10.1212/WNL.0000000000004058
  2. Lotharius J., Brundin P. Pathogenesis of Parkinson's disease: dopamine, vesicles and alpha-synuclein. Nat. Rev. Neurosci. 2002;3(12):932–942. doi: 10.1038/nrn983
  3. Brás I.C., Outeiro T.F. Alpha-synuclein: mechanisms of release and pathology progression in synucleinopathies. Cells. 2021;10(2):375. doi: 10.3390/cells10020375
  4. Srinivasan E., Chandrasekhar G., Chandrasekar P. et al. Alpha-synuclein aggregation in Parkinson's disease. Front. Med. (Lausanne). 2021;8:736978. doi: 10.3389/fmed.2021.736978
  5. Ma L.Y., Liu G.L., Wang D.X. et al. Alpha-Synuclein in peripheral tissues in Parkinson's disease. ACS Chem. Neurosci. 2019;10(2):812–823. doi: 10.1021/acschemneuro.8b00383
  6. Braak H., Rüb U., Gai W.P., Del Tredici K. Idiopathic Parkinson's disease: possible routes by which vulnerable neuronal types may be subject to neuroinvasion by an unknown pathogen. J. Neural. Transm. (Vienna). 2003;110(5):517–536. doi: 10.1007/s00702-002-0808-2
  7. Сальков В.Н., Воронков Д.Н., Хачева К.К. и др. Клинико-морфологический анализ случая болезни Паркинсона. Архив патологии. 2020; 82(2):52–56. Salkov V.N., Voronkov D.N., Khacheva K.K. et al. Clinical and morphological analysis of a case of Parkinson's disease. Arkhiv Patologii. 2020;82(2):52–56. doi: 10.17116/patol20208202152
  8. Beach T.G., Adler C.H., Sue L.I. et al. Multi-organ distribution of phosphorylated alpha-synuclein histopathology in subjects with Lewy body disorders. Acta Neuropathol. 2010;119(6):689–702. doi: 10.1007/s00401-010-0664-3
  9. Tsukita K., Sakamaki-Tsukita H., Tanaka K. et al. Value of in vivo α-synuclein deposits in Parkinson's disease: a systematic review and meta-analysis. Mov. Disord. 2019;34(10):1452–1463. doi: 10.1002/mds.27794
  10. Doppler K. Detection of dermal alpha-synuclein deposits as a biomarker for Parkinson's disease. J. Parkinsons. Dis. 2021;11(3):937–947. doi: 10.3233/JPD-202489
  11. Соболев В.Б., Худоерков Р.М. Иммуногистохимическое выявление α-синуклеина в слюнной железе как биомаркер болезни Паркинсона. Бюллетень Национального общества по изучению болезни Паркинсона и расстройств движений. 2017;(2):16–23. Sobolev V.B., Khudoerkov R.M. Immunohistochemical detection of α-synuclein in the salivary gland as a biomarker of Parkinson's disease. Bulletin of the National Parkinson's Disease and Movement Disorder Society. 2017;(2):16–23.
  12. Adler C.H., Dugger B.N., Hinn M.L. et al. Submandibular gland needle biopsy for the diagnosis of Parkinson disease. Neurology. 2014;82(10):858–864. doi: 10.1212/WNL.0000000000000204
  13. Adler C.H., Dugger B.N., Hentz J.G. et al. Peripheral synucleinopathy in early Parkinson's disease: submandibular gland needle biopsy findings. Mov. Disord. 2016;31(2):250–256. doi: 10.1002/mds.27044
  14. Shin J., Park S.H., Shin C. et al. Submandibular gland is a suitable site for alpha synuclein pathology in Parkinson disease. Parkinsonism Relat. Disord. 2019;58:35–39. doi: 10.1016/j.parkreldis.2018.04.019
  15. Cersosimo M.G, Perandones C., Micheli F.E. et al. Alpha‐synuclein immunoreactivity in minor salivary gland biopsies of Parkinson's disease patients. Mov. Disord. 2011;26(1):188–190. doi: 10.1002/mds.23344
  16. Gao L., Chen H., Li X. et al. The diagnostic value of minor salivary gland biopsy in clinically diagnosed patients with Parkinson’s disease: comparison with DAT PET scans. Neurol. Sci. 2015;36(9):1575–1580. doi: 10.1007/s10072-015-2190-5
  17. Худоерков Р.М., Воронков Д.Н., Богданов Р.Р. и др. Исследование α-синуклеина в биоптатах подъязычных слюнных желёз при болезни Паркинсона. Неврологический журнал. 2016;21(3):152–157. Khudoerkov R.М., Voronkov D.N., Bogdanov R.R. et al. Study of α-synuclein deposition in the sublingual salivary gland biopsy slices in Parkinson’s disease. Neurological Journal. 2016;21(3):152–157. doi: 10.18821/1560-9545-2016-21-3-152-157
  18. Plana M.N., Arevalo-Rodriguez I., Fernández-Garcia S. et al. Meta-DiSc 2.0: a web application for meta-analysis of diagnostic test accuracy data. BMC Med. Res. Methodol. 2022;22(1):306. doi: 10.1186/s12874-022-01788-2
  19. Корнеенков А.А., Рязанцев С.В., Вяземская Е.Э. Вычисление и интерпретация показателей информативности диагностических медицинских технологий. Медицинский совет. 2019;(20):41–47. Korneenkov A.A., Ryazantsev S.V., Vyazemskaya E.E. Calculation and interpretation of information content indicators of diagnostic medical technologies. Medical advice. 2019;(20):41–47. doi: 10.21518/2079-701X-2019-20-45-51
  20. Beach T.G., Adler C.H., Serrano G. et al. Prevalence of submandibular gland synucleinopathy in Parkinson’s disease, dementia with Lewy bodies and other Lewy body disorders. J. Parkinsons Dis. 2016;6(1):153–163. doi: 10.3233/JPD-150680
  21. Folgoas E., Lebouvier T., Leclair-Visonneau L. et al. Diagnostic value of minor salivary glands biopsy for the detection of Lewy pathology. Neurosci. Lett. 2013;551: 62–64. doi: 10.1016/j.neulet.2013.07.016
  22. Vilas D., Iranzo A., Tolosa E. et al. Assessment of α-synuclein in submandibular glands of patients with idiopathic rapid-eye-movement sleep behaviour disorder: a case-control study Lancet Neurol. 2016;15(7):708–718. doi: 10.1016/S1474-4422(16)00080-6
  23. Carletti R., Campo F., Fusconi M. et al. Phosphorylated α-synuclein immunoreactivity in nerve fibers from minor salivary glands in Parkinson's disease. Parkinsonism Relat. Disord. 2017;38:99–101. doi: 10.1016/j.parkreldis.2017.02.031
  24. Iranzo A., Borrego S., Vilaseca I. et al. α-Synuclein aggregates in labial salivary glands of idiopathic rapid eye movement sleep behavior disorder. Sleep. 2018;41(8):zsy101. doi: 10.1093/sleep/zsy101
  25. Fernández-Espejo E., Rodríguez de Fonseca F., Suárez J. et al. Native α-synuclein, 3-nitrotyrosine proteins, and patterns of nitro-α-synuclein-immunoreactive inclusions in saliva and submandibulary gland in Parkinson’s disease. Antioxidants. (Basel). 2021;10(5):715. doi: 10.3390/antiox10050715
  26. Ma L.Y., Gao L., Li X. et al. Nitrated alpha-synuclein in minor salivary gland biopsies in Parkinson’s disease. Neurosci. Lett. 2019;704:45–49. doi: 10.1016/j.neulet.2019.03.054
  27. Mangone G., Houot M., Gaurav R. et al. Relationship between substantia nigra neuromelanin imaging and dual alpha-synuclein labeling of labial minor in salivary glands in isolated rapid eye movement sleep behavior disorder and Parkinson’s disease. Genes. (Basel). 2022;13(10):1715. doi: 10.3390/genes13101715
  28. Shin J.H., Park S.H., Shin C. et al. Negative α-synuclein pathology in the submandibular gland of patients carrying PRKN pathogenic variants. Parkinsonism Relat. Disord. 2020;81:179–182. doi: 10.1016/j.parkreldis.2020.07.004
  29. Хачева К.К., Карабанов А.В., Богданов Р.Р. и др. Сравнительный анализ диагностической значимости иммуногистохимического исследования слюнной железы и ультразвукового исследования чёрной субстанции при болезни Паркинсона. Анналы клинической и экспериментальной неврологии. 2023;17(1):36–42. Khacheva K.K., Karabanov A.V., Bogdanov R.R. et al. Salivary gland immunohistochemistry vs substantia nigra sonography: comparative analysis of diagnostic significance. Annals of Clinical and Experimental Neurology. 2023;17(1):36–42. doi: 10.54101/ACEN.2022.4.5
  30. Gibb W.R., Lees A.J. The relevance of the Lewy body to the pathogenesis of idiopathic Parkinson’s disease. J. Neurol. Neurosurg. Psychiatry. 1988;51(6):745–752. doi: 10.1136/jnnp.51.6.745
  31. Stewart T., Sossi V., Aasly J.O. et al. Phosphorylated α-synuclein in Parkinson’s disease: correlation depends on disease severity. Acta Neuropathol. Commun. 2015;3:7. doi: 10.1186/s40478-015-0185-3
  32. Xie L.L., Hu L.D. Research progress in the early diagnosis of Parkinson’s disease. Neurol. Sci. 2022;43(11):6225–6231. doi: 10.1007/s10072-022-06316-0

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Fig. 1. Study selection for systematic review and meta-analysis.

Download (474KB)
3. Fig. 2. Pooled sensitivity (A) and specificity (B) across all the comparative studies for methods of detecting α-syn in SGs of PD patients and controls, regardless of anti-α-synuclein Abs. Here and in Fig. 3 and 4: TP, true-positive result; TN, true-negative result; FP, false-positive result; FN, false-negative result.

Download (565KB)
4. Fig. 3. Pooled sensitivity (A) and specificity (B) across the comparative studies for methods of detecting α-syn in SGs of PD patients and controls using anti-pS129-α-syn Abs.

Download (406KB)
5. Fig. 4. Pooled sensitivity (A) and specificity (B) across the comparative studies for methods of detecting α-syn in SGs of PD patients and controls using anti-pS129-α-syn Abs and major SG specimens.

Download (308KB)

Copyright (c) 2025 Khacheva K.K., Illarioshkin S.N., Karabanov A.V.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77-83204 от 12.05.2022.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies