Clinical assessment of patients with chronic disorders of consciousness by different medical specialists
- Authors: Solovyeva P.I.1, Sinkin M.V.1,2, Talypov A.E.1, Abzalova D.I.1, Ramazanov G.R.1, Mehia-Mehia E.D.2, Bakharev E.Y.1, Popugayev K.A.1,3, Grin A.A.1,2
-
Affiliations:
- Sklifosovsky Research Institute for Emergency Care
- A.I. Evdokimov Moscow State Medicine and Dentistry University
- A.I. Burnazyan Medical and Biological University of Innovations and Continuing Education Federal Medical Biophysical Center
- Issue: Vol 16, No 2 (2022)
- Pages: 44-49
- Section: Original articles
- Submitted: 20.02.2022
- Accepted: 11.03.2022
- Published: 30.06.2022
- URL: https://annaly-nevrologii.com/journal/pathID/article/view/825
- DOI: https://doi.org/10.54101/ACEN.2022.2.5
- ID: 825
Cite item
Full Text
Abstract
Introduction. Clinical assessment of consciousness in patients coming out of a coma remains a topic of discussion. Monitoring these patients over time is challenging not only because of the slow fluctuations in their neurological status, but also because doctors are not fully aware of the classification of chronic disorders of consciousness (CDC), and how to use the Coma Recovery Scale-revised (CRS-R), which was specifically developed for this group of patients. In practice, most doctors use standard neurological examination to assess consciousness rather than the CRS-R. We have hypothesized that this approach leads to contradictory and poorly standardized results.
Materials and methods. We investigated the level of inter-expert reliability in pairs of three medical specialists: neurologists, neurosurgeons and neurocritical care specialists (working in neurocritical care units) in the clinical assessment of consciousness. Their examination findings were compared to the CRS-R scores.
Results. The inter-expert reliability was poor in all three specializations when using clinical examination to determine the degree of impaired consciousness in patients with CDC. An average level of IER (Cohen's kappa = 0.46) was found only in the neurosurgeon–CRS-R pair.
Conclusion. A scale with detailed criteria is different to a standard clinical examination and has a higher level of IER. Moving from subjective evaluation to a standardized CRS-R will enable medical specialists to determine a patient’s rehabilitation potential and predict disease progression more accurately. Educational programmes, including virtual platforms, should be developed to encompass most of the medical community.
Full Text
Введение
Объективная клиническая оценка состояния пациентов с хроническими нарушениями сознания (ХНС) остаётся сложным и дискутабельным вопросом среди врачей во всём мире [1, 2]. Например, в Великобритании и США состояние ареактивного бодрствования (САБ) ошибочно определяют у 41% пациентов [3, 4].
Основополагающим критерием оценки больных с ХНС является подробный неврологический осмотр с элементами нейроповеденческого анализа [5–7]. Функциональные исследования центральной нервной системы (функциональная магнитно-резонансная томография), вызванные потенциалы, электроэнцефалография) таким пациентам проводят рутинно, однако эти методы недостаточно информативны для определения наличия осознанности и в качественной оценке сознания [8–10].
Длительное время для клинической оценки пациентов с ХНС использовали классификацию В. Jennet и F. Plum, включающую 7 градаций: деменция, гиперсомния, вегетативное состояние, акинетический мутизм, апаллический синдром, синдром изоляции и необратимая кома [11, 12]. Со временем были выявлены несовершенства данной классификации, комбинирующей качественное и количественное нарушения сознания. Кроме того, она была рассчитана на оценку пациентов с острыми или подострыми нарушениями сознания, никак не затрагивая особенности ХНС.
Большим шагом в оценке пациентов с ХНС стала унификация терминологии и диагностических критериев вегетативного состояния мультидисциплинарной рабочей группой по изучению персистирующего вегетативного состояния (The Multi-Society Task Force) в 1994 г. [13]. Тогда же были сформулированы сроки формирования вегетативного состояния и причины его возникновения [13].
В 2020 г. терминология ХНС была пересмотрена и адаптирована для русскоязычного использования российской Рабочей группой по проблемам нарушений сознания [14]. В обновленную классификацию вошли качественные уровни ХНС: состояние минимального сознания (СМС+/–) и состояние выхода из СМС. Основной целью данного пересмотра было повышение уровня преемственности между лечебными учреждениями как при постановке диагноза и неотложном лечении, так и при определении реабилитационного потенциала [14].
Одним из инструментов для оценки пациентов с ХНС является Шкала восстановления после комы (пересмотренная) (Coma recovery scale — revised CRS-R, 2004 г.). CRS-R широко распространена в мировой практике, однако лишь треть врачей различных клинических специальностей в Европе владеют достаточными знаниями и навыками её практического использования [15, 16].
Начало активного внедрения CRS-R в России было положено в 2020 г. Центром валидации международных шкал и опросников на базе ФГБНУ «Научный центр неврологии» [17]. Несмотря на наличие русской версии CRS-R, большинство врачей в клинической практике по-прежнему оценивают сознание пациентов с ХНС с помощью клинического осмотра, не используя специальные приёмы.
Мы предположили, что такой подход может быть не точным и даже различаться в зависимости от специализации врача, проводящего осмотр. Для тестирования этого предположения мы провели пилотное исследование оценки сознания, выполненной с помощью валидированной шкалы CRS-R в сравнении с результатом клинического осмотра врачами трех специальностей: неврологом, нейрохирургом и нейрореаниматологом. Уровень межэкспертного согласия (МЭС) был рассчитан между парами врачей и между каждым врачом и показателем CRS-R, заполненной одним экспертом.
Материалы и методы
В исследование были включены 10 пациентов, перенёсших тяжёлую черепно-мозговую травму, повлёкшую угнетение сознание до комы, у которых затем наблюдалось развитие ХНС. На момент оценки у всех пациентов прошло более 28 дней с момента получения травмы, и все они вышли из комы. Критерием включения в обследуемую когорту являлось устойчивое спонтанное открывание глаз при отсутствии вербального контакта с пациентом и чёткой фиксации взора.
С помощью материалов, представленных на сайте Центра валидации международных шкал и опросников ФГБНУ НЦН1, было проведено обучение одного врача-невролога использованию и интерпретации валидированной шкалы CRS-R. После теоретической и практической подготовки эксперт проводил оценку пациентов с помощью CRS-R. Общий балл шкалы, который складывается из 6 отдельных категорий (слуховая функция, зрительная функция, движение, оромоторная функция, коммуникация, бодрствование), был принят за стандарт определения уровня сознания. При наличии критериев с пометкой «*» в любой из категорий говорили о СМС(–). При наличии критериев с пометкой «|» говорили о СМС(+) и последующем выходе из СМС.
Сразу после тестирования по CRS-R пациентов однократно осматривали врачи трех разных специальностей: нейрохирург, анестезиолог-реаниматолог отделения нейрореанимации (нейрореаниматолог) и невролог. Им было предложено на основании клинического осмотра оценить уровень сознания, выбрав один из вариантов: САБ / СМС(–) / СМС(+) / кома.
Заполнение шкалы и осмотр врачами-специалистами были организованы таким образом, что они не знали другие результаты осмотра и количество баллов по шкале CRS-R, определённых экспертом; интервал между осмотрами всеми специалистами составлял не более 60 мин.
Состав врачебной группы при осмотре всех больных был одинаков, при этом нейрохирург, нейрореаниматолог и невролог не принимали участие в оценке по CRS-R и лечении осматриваемых пациентов.
Расчёт МЭС проводили попарно: в парах врачей разных специальностей и в парах врач–CRS-R. МЭС рассчитывали в виде каппы Коэна (κ) с помощью свободной программной среды вычислений R v.3.5.1.
Оценку проводили согласно следующим критериям [18]:
- κ < 0,2 — плохой уровень согласия;
- κ = 0,21–0,40 — удовлетворительный уровень согласия;
- κ = 0,41–0,60 — средний уровень согласия;
- κ = 0,61–0,80 — хороший уровень согласия;
- κ > 0,81 — очень хороший уровень согласия.
Результаты
Оценка состояния пациентов, данная нейрохирургом, анестезиологом-реаниматологом отделения нейрореанимации (нейрореаниматологом) и неврологом, приведена в табл. 1.
Таблица 1. Оценка ХНС врачами различных специальностей и по CRS-R в исследованной популяции / Table 1. Assessment of CDC in the study population by various medical specialists and using the CRS-R
Пациент Patient | CRS-R, баллы CRS-R, points | Нейрохирург Neurosurgeon | Невролог Neurologist | Нейрореаниматолог Neurocritical care specialist |
1 | САБ / Vegetative state (1) | СМС– / MCS– | СМС– / MCS– | СМС– / MCS– |
2 | САБ / Vegetative state (3) | САБ / Vegetative state | СМС– / MCS– | САБ / Vegetative state |
3 | СМС+ / MCS+ (18) | СМС+ / MCS+ | СМС– / MCS– | СМС+ / MCS+ |
4 | САБ / Vegetative state (3) | САБ / Vegetative state | Кома / Coma | СМС– / MCS– |
5 | СМС– / MCS– (7) | СМС– / MCS– | СМС– / MCS– | СМС– / MCS– |
6 | САБ / Vegetative state (2) | САБ / Vegetative state | САБ / Vegetative state | СМС– / MCS– |
7 | САБ / Vegetative state (4) | САБ / Vegetative state | СМС– / MCS– | САБ / Vegetative state |
8 | СМС– / MCS– (5) | САБ / Vegetative state | СМС– / MCS– | САБ / Vegetative state |
9 | СМС+ / MCS+ (13) | СМС– / MCS– | СМС+ / MCS+ | САБ / Vegetative state |
10 | САБ / Vegetative state (4) | САБ / Vegetative state | СМС– / MCS– | САБ / Vegetative state |
Note. MCS — minimally conscious state.
Значение κ по результатам работы врачей разных специальностей составило 0,19 (Z = 0,52; p = 0,61), что соответствует критериям плохого уровня согласия. Внутриклассовый коэффициент корреляции составил 0,24 (95% ДИ от –0,03 до 0,64).
В парах врачей получен следующий результат МЭС (табл. 2):
- нейрохирург–невролог — κ = 0,03 (Z = 0,20; p = 0,85), что соответствует критериям плохого уровня согласия;
- нейрохирург–нейрореаниматолог — κ = 0,47 (Z = 1,91; p = 0,06), что соответствует критериям среднего уровня согласия;
- невролог–нейрореаниматолог — κ = –0,21 (Z = –1,3; p = 0,19), что соответствует критериям плохого уровня согласия.
Таблица 2. Матрица оценки уровня МЭС в парах врачей разной специальности (κ Коэна) / Table 2. Assessment matrix of the IER level between pairs of various medical specialists (Cohen’s kappa)
Нейрохирург Neurosurgeon | Невролог Neurologist | Нейрореаниматолог Neurocritical care specialist | |
CRS-R | 0,46 | 0,23 | 0,17 |
Нейрохирург Neurosurgeon | – | 0,03 | 0,47 |
Невролог Neurologist | 0,03 | – | –0,21 |
Отрицательное значение κ возможно как при полном отсутствии согласия, так и в случае, когда наблюдаемое согласие хуже, чем случайное.
В парах специалист–CRS-R получен следующий результат МЭС (табл. 2):
- нейрохирург–CRS-R — κ = 0,46 (Z = 2,02; p = 0,04), что соответствует критериям среднего уровня согласия;
- невролог–CRS-R — κ = 0,23 (Z = 1,85; p = 0,06), что соответствует критериям удовлетворительного уровня согласия;
- нейрореаниматолог–CRS-R — κ = 0,17 (Z = 0,754; p = 0,45), что соответствует критериям плохого уровня согласия.
Обсуждение
Клиническая диагностика пациентов с ХНС является важным компонентом лечебного процесса, от её правильности зависит оценка реабилитационного потенциала [19]. Недостатками клинического осмотра являются сложность его стандартизации и возможный субъективизм при проведении. Так, J.T. Giacino и соавт. вычиcлили МЭС клинического осмотра пациентов с ХНС между парами неврологов без использования специализированной шкалы и получили средний уровень согласия (κ = 0,60) [20].
В последние годы в практику неврологических осмотров стало входить использование стандартизированных шкальных методов оценки, которые учитывают даже незначительные признаки сознательного поведения у таких пациентов. Основным инструментом для оценки пациентов с ХНС является CRS-R, переведённая на несколько языков (русский, французский, испанский, итальянский, португальский, польский) и валидированная для практического использования [21].
В европейских странах проведены исследования МЭС CRS-R для разных языковых версий. Так, МЭС между неврологами по общему баллу CRS-R в польском, итальянском и французском исследованиях было хорошим и составило κ = 0,72, κ = 0,84, κ = 0,74 соответственно [20, 22, 23].
В России исследование МЭС при использовании CRS-R врачами-неврологами было проведено на первом этапе валидации шкалы на базе ФГБНУ НЦН. Был выявлен хороший уровень МЭС между врачами-неврологами, имеющими стаж работы более 3 лет. МЭС, выраженное с помощью κ Коэна, достаточно высокое (κ = 0,99, интервал 0,876–1,000) и для отдельных категорий шкалы [17]. Самый низкий уровень согласия наблюдали при оценке зрительных функций (κ = 0,873, интервал 0,763–0,957) [17].
Мы впервые провели сравнение уровня МЭС в оценке пациентов экспертом с помощью CRS-R и практикующими врачами разных специальностей с использованием стандартного клинического осмотра. Таким образом, только эксперт был обучен методологии оценки по CRS-R. При подсчёте МЭС среди врачей разных специальностей (нейрохирург, невролог, нейрореаниматолог) уровень согласия был плохим, несмотря на применение стандартного клинического осмотра и возможности выбора 1 из предложенных 4 уровней нарушений сознания. Этот факт указывает на необходимость стандартизированного подхода при оценке пациентов с ХНС.
При сравнительном анализе оценок эксперта по CRS-R и врачей только в паре нейрохирург–CRS-R был средний уровень согласия (MЭС: κ = 0,46). Это подтверждает, что шкальная оценка пациента с ХНС информативнее стандартного клинического осмотра.
При проведении сравнительного анализа зарубежных и отечественных исследований МЭС при оценке пациентов с ХНС необходимо упомянуть различия в обучении клинических специалистов. Согласно перечню специальностей Европейского союза медицинских специалистов, действующему на территории 40 стран, выделяют специальности: невролог, нейрохирург и врач неотложной медицинской помощи2. На основании утверждённого паспорта специальность «невролог» включает в себя обязательные практические навыки работы в реанимационном отделении3. Среди групп заболеваний и синдромов, лечением которых занимается врач неотложной помощи, есть блок патологий нервной системы — как центральной, так и периферической4. Сроки обучения для разных специальностей различаются: 4 года — для неврологов и 6 лет — для врачей неотложной медицины.
Российская система образования включает в себя двухлетнюю программу ординатуры для всех специальностей. Паспорт специальности «неврология» включает в себя нейрореаниматологические навыки, в то время как специальность «анестезиология и реаниматология» подразумевает управление жизненно важными функциями организма для пациентов с полиэтиологичными заболеваниями, без чёткого акцента на первопричине данного состояния5. Данные отличия оказывают прямое влияние на дальнейшую практическую деятельность, что отражено и в нашем исследовании в виде неоднородности результатов.
Для улучшения качества оценки J. Chaturvedi и соавт. предложили двойную стратегию: детальный разбор методологии шкалы для врачей, оценивающих данных пациентов, и внедрение шкалы в рутинную клиническую практику [15]. Мы предлагаем следовать данной тактике при дополнительном обучении врачей всех специальностей, работающих с такой категорией больных.
Ограничения исследования
В нашем исследовании присутствовал ряд ограничений:
1) небольшая выборка пациентов, обусловленная скоропомощным профилем клиники и преобладающим числом пациентов с острыми или подострыми нарушениями сознания;
2) учитывая динамические флюктуирующие изменения в неврологическом статусе у данной категории пациентов, присутствовал ряд сложностей с осмотром пациента всеми врачами в краткий период времени без пересечения друг с другом;
3) при расчёте κ Коэна, учитывающей возможность предположений и частично исключающей ошибочные оценки, может быть чрезмерное снижение уровня МЭС [24].
Заключение
Плохой уровень согласия (κ = 0,19) при оценке уровня сознания на основании клинического осмотра врачами разных специальностей свидетельствует о высоком субъективизме при оценке пациентов с ХНС и подчёркивает необходимость применения шкальной оценки ХНС.
Переход от практики субъективной оценки к стандартизированному заполнению CRS-R позволит точнее определять реабилитационный потенциал и прогнозировать течение заболевания.
Необходимо развивать образовательные программы для максимально широкого обучения врачей, принимающих участие в лечении и реабилитации этой категории пациентов.
1 Центр валидации международных шкал и опросников. Официальный сайт Научного центра неврологии. URL: https://www.neurology.ru/reabilitaciya/centr-validacii-mezhdunarodnyh-shkal-i-oprosnikov (дата обращения: 22.12.2021).
2 European Union of Medical Specialists. URL: https://www.uems.eu/about-us/medical-specialties (дата обращения: 01.12.2021).
3 European union of medical specialists. European Training Requirements for Neurology Updated Version. October 2016. URL: https://www.uems-neuroboard.org/web/images/docs/exam/European-Training-Requirements-Neurology-accepted-version-21Oct16.pdf (дата обращения: 10.03.2022).
4 European core curriculum for emergency medicine. (Version 2.0, March 2019) https://eusem.org/images/Curriculum_2.0_WEB.pdf (дата обращения: 10.03.2022).
5 Приказ Министерства науки и высшего образования Российской Федерации от 24.02.2021 № 118 «Об утверждении номенклатуры научных специальностей, по которым присуждаются учёные степени, и внесении изменения в Положение о совете по защите диссертаций на соискание учёной степени кандидата наук, на соискание ученой степени доктора наук, утверждённое приказом Министерства образования и науки Российской Федерации от 10 ноября 2017 г. № 1093».
About the authors
Polina I. Solovyeva
Sklifosovsky Research Institute for Emergency Care
Author for correspondence.
Email: psolovyeva@yandex.ru
ORCID iD: 0000-0001-6858-6210
junior researcher, neurologist, Neurosurgical department
Россия, 129010, Moscow, Bol’shaya Sukharevskaya square, 3Mikhail V. Sinkin
Sklifosovsky Research Institute for Emergency Care; A.I. Evdokimov Moscow State Medicine and Dentistry University
Email: mvsinkin@gmail.com
ORCID iD: 0000-0001-5026-0060
Cand. Sci. (Med.), senior researcher, neurophysiology team leader, Neurosurgical department
Россия, 129010, Moscow, Bol’shaya Sukharevskaya square, 3; MoscowAlexander E. Talypov
Sklifosovsky Research Institute for Emergency Care
Email: psolovyeva@yandex.ru
ORCID iD: 0000-0002-6789-8164
D. Sci. (Med.), chief researcher, Neurosurgical department
Россия, 129010, Moscow, Bol’shaya Sukharevskaya square, 3Dilara I. Abzalova
Sklifosovsky Research Institute for Emergency Care
Email: psolovyeva@yandex.ru
ORCID iD: 0000-0002-7217-6940
junior researcher, neurologist, Neurosurgical department
Россия, 129010, Moscow, Bol’shaya Sukharevskaya square, 3Ganipa R. Ramazanov
Sklifosovsky Research Institute for Emergency Care
Email: psolovyeva@yandex.ru
ORCID iD: 0000-0001-6824-4114
Cand. Sci. (Med.), Head, Science division, Neurological department
Россия, 129010, Moscow, Bol’shaya Sukharevskaya square, 3Ester D. Mehia-Mehia
A.I. Evdokimov Moscow State Medicine and Dentistry University
Email: psolovyeva@yandex.ru
Head, Intensive care department
Россия, MoscowEvgeniy Yu. Bakharev
Sklifosovsky Research Institute for Emergency Care
Email: psolovyeva@yandex.ru
ORCID iD: 0000-0003-1525-1585
Cand. Sci. (Med.), neurosurgeon, Neurosurgical department
Россия, 129010, Moscow, Bol’shaya Sukharevskaya square, 3Konstantin A. Popugayev
Sklifosovsky Research Institute for Emergency Care; A.I. Burnazyan Medical and Biological University of Innovations and Continuing Education Federal Medical Biophysical Center
Email: psolovyeva@yandex.ru
ORCID iD: 0000-0002-6240-820X
D. Sci. (Med.), Professor, Deputy Director, Head, Regional Vascular Center, Head, Department of anesthesiology, resuscitation intensive care
Россия, 129010, Moscow, Bol’shaya Sukharevskaya square, 3; MoscowAndrey A. Grin
Sklifosovsky Research Institute for Emergency Care; A.I. Evdokimov Moscow State Medicine and Dentistry University
Email: psolovyeva@yandex.ru
ORCID iD: 0000-0003-3515-8329
D. Sci. (Med.), Professor, Chief neurosurgeon, Moscow Healthcare Department, Department of neurosurgery and neurocritical care, Head, Science division, Neurosurgical department
Россия, 129010, Moscow, Bol’shaya Sukharevskaya square, 3; MoscowReferences
- Owen A.M., Coleman M.R. Detecting awareness in the vegetative state. Ann. N. Y. Acad. Sci. 2008; 1129: 130–138. doi: 10.1196/annals.1417.018
- Xie Q., Ni X., Yu R,. et al. Chronic disorders of consciousness. Exp. Ther. Med. 2017; 14(2): 1277–1283. doi: 10.3892/etm.2017.4639
- Cruse D., Chennu S., Chatelle C. et al. Bedside detection of awareness in the vegetative state: a cohort study. Lancet. 2011; 378(9809): 2088–2094. doi: 10.1016/S0140-6736(11)61224-5
- Schnakers C., Vanhaudenhuyse A., Giacino J. et al. Diagnostic accuracy of the vegetative and minimally conscious state: clinical consensus versus standardized neurobehavioral assessment. BMC Neurol. 2009; 9: 35. doi: 10.1186/1471-2377-9-35
- Giacino J.T., Schnakers C., Rodriguez-Moreno D. et al. Behavioral assessment in patients with disorders of consciousness: gold standard or fool’s gold? Prog. Brain Res. 2009; 177: 33–48. doi: 10.1016/S0079-6123(09)17704-X
- Schnakers C., Giacino J., Kalmar K. et al. Does the FOUR score correctly diagnose the vegetative and minimally conscious states? Ann. Neurol. 2006; 60(6): 744–745; author reply 745. doi: 10.1002/ana.20919
- Schnakers C., Monti M.M. Towards improving care for disorders of consciousness. Nat. Rev. Neurol. 2020; 16(8): 405–406. doi: 10.1038/s41582-020-0358-y
- Wade D. Back to the bedside? Making clinical decisions in patients with prolonged unconsciousness. J. Med. Ethics. 2017; 43(7): 457–458. doi: 10.1136/medethics-2015-103140
- Nachev P., Hacker P.M. Covert cognition in the persistent vegetative state. Prog. Neurobiol. 2010; 91(1): 68–76. doi: 10.1016/j.pneurobio.2010.01.009
- Mashour G.A., Avidan M.S. Capturing covert consciousness. Lancet. 2013; 381(9863): 271–272. doi: 10.1016/S0140-6736(13)60094-X
- Jennett B., Plum F. Persistent vegetative state after brain damage. A syndrome in search of a name. Lancet. 1972; 1(7753): 734–737. doi: 10.1016/s0140-6736(72)90242-5
- Plum F., Posner J.B. The diagnosis of stupor and coma. Contemp. Neurol. Ser. 1972; 10: 1–286.
- Multi-Society Task Force on PVS. Medical aspects of the persistent vegetative state (1). N. Engl. J. Med. 1994; 330(21): 1499–1508. doi: 10.1056/NEJM199405263302107
- Пирадов М.А., Супонева Н.А., Вознюк И.А. и др. Хронические нарушения сознания: терминология и диагностические критерии. Результаты первого заседания Российской рабочей группы по проблемам хронических нарушений сознания. Анналы клинической и экспериментальной неврологии. 2020; 14(1): 5–16. Piradov M.A., Suponeva N.A., Voznyuk I.A. et al. Chronic disorders of consciousness: terminology and diagnostic criteria. Results of the first meeting of the Russian working group on problems of chronic disorders of consciousness. Annals of clinical and experimental neurology. 2020; 14(1): 5–16. (In Russ.) doi: 10.25692/ACEN.2020.1.1
- Wade D.T. How often is the diagnosis of the permanent vegetative state incorrect? A review of the evidence. Eur. J. Neurol. 2018; 25(4): 619–625. doi: 10.1111/ene.13572
- Chaturvedi J., Mudgal S.K., Venkataram T. et al. Coma recovery scale: key clinical tool ignored enough in disorders of consciousness. Surg. Neurol. Int. 2021; 12: 93. doi: 10.25259/SNI_935_2020
- Iazeva E.G., Legostaeva L.A., Zimin A.A. et al. A Russian validation study of the Coma Recovery Scale-Revised (CRS-R). Brain Inj. 2019; 33(2): 218–225. doi: 10.1080/02699052.2018.1539248
- McHugh M.L. Interrater reliability: the kappa statistic. Biochem. Med. (Zagreb). 2012; 22(3): 276–282.
- Союз реабилитологов России. Нейропсихологическая диагностика и реабилитация пациентов с нарушениями сознания после повреждения головного мозга: методические рекомендации. М., 2019. 81 с. Union of Rehabilitologists of Russia. Neuropsychological diagnostics and rehabilitation of patients with impaired consciousness after brain damage: methodological recommendations. Moscow, 2019. 81 p. (In Russ.)
- Giacino J.T., Kalmar K., Whyte J. The JFK Coma Recovery Scale-Revised: measurement characteristics and diagnostic utility. Arch. Phys. Med. Rehabil. 2004; 85(12): 2020–2029. doi: 10.1016/j.apmr.2004.02.033
- American Congress of Rehabilitation Medicine, Brain Injury-Interdisciplinary Special Interest Group, Disorders of Consciousness Task Force et al. Assessment scales for disorders of consciousness: evidence-based recommendations for clinical practice and research. Arch. Phys. Med. Rehabil. 2010; 91(12): 1795–1813. doi: 10.1016/j.apmr.2010.07.218
- Binder M., Górska U., Wójcik-Krzemień A., Gociewicz K. A validation of the Polish version of the Coma Recovery Scale-Revised (CRSR). Brain Inj. 2018; 32(2): 242–246. doi: 10.1080/02699052.2017.1406991
- Schnakers C., Majerus S., Giacino J. et al. A French validation study of the Coma Recovery Scale-Revised (CRS-R). Brain Inj. 2008; 22(10): 786-792. doi: 10.1080/02699050802403557
- Mayer H., Nonn C., Osterbrink J., Evers G.C. Quality criteria of assessment scales--Cohen’s kappa as measure of interrator reliability (1). Pflege. 2004; 17(1): 36–46. (In German) doi: 10.1024/1012-5302.17.1.36