Управление роботизированным экзоскелетоном на основе технологии «интерфейс мозг–компьютер» моторно-воображаемого типа

С.Ю. Гордлеева, М.В. Лукоянов, С.А. Минеев, М.A. Хоружко, В.И. Миронов, А.Я. Каплан, В.Б. Казанцев

Ключевые слова: интерфейс мозг–компьютер; воображение движений; экзоскелетон нижних конечностей; система управления экзоскелетоном; постинсультная реабилитация.

Цель исследования — разработка нейроинтегрированной системы управления экзоскелетонным роботизированным комплексом (ЭРК) нижних конечностей на основе технологии «интерфейс мозг–компьютер» (ИМК), которая основана на распознавании паттернов ЭЭГ, вызываемых воображением движений конечностями.

Материалы и методы. Предлагаемая нейроинтегрированная система управления ЭРК на основе технологии ИМК состоит из трех основных блоков: блок регистрации ЭЭГ-сигналов, классификатор ЭЭГ-сигналов и программное обеспечение для передачи команд на ЭРК. Распознавание паттернов ЭЭГ, вызываемых воображением движений, проводится классификатором, построенным на основе линейного дискриминантного анализа, который использует признаки, выделенные при помощи пространственной фильтрации методом CSP попарно для всех типов команд. Предлагаемые алгоритмы классификации паттернов воображаемых движений и методика обучения пользователя позволяют достоверно разделить несколько (до четырех) различных команд. Оператор после обучения и тестирования классификатора может приступать к управлению внешним устройством, в качестве которого выступает ЭРК нижних конечностей. Для удобной настройки системы разработано программное обеспечение управления ЭРК. Программа имеет простой графический пользовательский интерфейс и позволяет менять сопоставление паттернов и команд ЭРК в процессе работы.

Результаты. В результате тестирования на 14 здоровых добровольцах средняя точность управления экзоскелетоном нижних конечностей в разработанном моторно-воображаемом ИМК для трех команд составила в трех сессиях в среднем 70%.

Заключение. Разработанная система управления ЭРК на основе технологии ИМК обладает достаточно высокой точностью для трех команд. Операторы успешно осваивают навык представления движения руками и работу в контуре ИМК, даже если ранее не имели опыта работы с нейрокомпьютерными интерфейсами.

В связи со стремительным развитием областей медицинской техники на сегодняшний день актуальным является создание нейроинтегрированных устройств на основе применения технологии «интерфейс мозг–компьютер» (ИМК) в совокупности с роботами (ортезами, экзоскелетами) для целей нейрореабилитации [1, 2]. Толчком для такого развития стало открытие пластических изменений функциональной топографии первичной моторной коры в результате тренировки [3]. В работах P. Bach-Y-Rita и E. Taub [4, 5] показано, что движение может восстановиться даже через несколько лет после инсульта. Это открыло новые возможности для нейрореабилитации: были разработаны принципы интенсивной, регулярной и мотивированной тренировки движений [6]. Экзоскелетоны оказались идеальными техническими устройствами, обеспечивающими реализацию этих принципов. Различные виды экзоскелетонов уже активно применяются в клинике, а количество их разработок в последние 10 лет экспоненциально растет [7].

Экзоскелетоны, успешно применяющиеся для нейрореабилитации, можно разделить на устройства, воспроизводящие движения суставов верхней конечности [8], и на устройства, ориентированные на воспроизведение ходьбы. Среди последних можно выделить экзоскелетоны, осуществляющие правильные с точки зрения биомеханики движения в тазобедренных и коленных суставах пациента, такие как LOPES (lower extremity powered exoskeleton) [9], ALEX (active leg exoskeleton) [10], ReWalk (wearable robotic exoskeleton) [http://rewalk.com/], eLEGS (exoskeleton lower extremity gait system) [http://bleex.me.berkeley.edu/research/exoskeleton/elegs], Rex (robotic exoskeleton) [http://www.rexbionics.com/], MindWalker [11] и др.

Несмотря на то, что к настоящему времени известно несколько типов ИМК [12, 13], наиболее популярными типами неинвазивного ИМК для управления экзоскелетонами являются так называемые синхронные ИМК, в основе которых лежит регистрация отклика в ЭЭГ оператора на внешнюю стимульную среду. Среди них можно выделить частотно-резонансные ИМК, основанные на известном свойстве ритмов спонтанной ЭЭГ резонансно подстраиваться по частоте к внешним источникам ритмической стимуляции [14], а также ИМК на «волне P300», работающие по принципу выделения волны P300 вызванных потенциалов на задуманный пользователем стимул-символ [15, 16]. Точность детектирования команд в таких ИМК достигает 95–97% [17], но при этом внимание оператора должно быть все время привязано к матричной стимульной среде. Примерами использования технологии частотно-резонансных ИМК для управления экзоскелетонными роботизированными комплексами (ЭРК) нижних конечностей являются: MindWalker [11], корейский экзоскелетон нижних конечностей [18].

В отличие от синхронных ИМК в технологиях асинхронного типа, основанных на воображении движений (MI-BCI — motor imagery based brain–computer interface), детектируемые в качестве команд для управления изменением ритмов ЭЭГ вызываются произвольными усилиями человека-оператора вне какой-либо их связи с внешней сенсорной стимуляцией. Несмотря на то, что данный тип ИМК является достаточно сложным для освоения по сравнению с частотно-резонансными ИМК и ИМК «на волне P300», именно моторно-воображаемый ИМК считается наиболее перспективным для тренировки двигательной функции [1, 19, 20]. Принципом работы ИМК, основанного на воображении движения, является детектирование десинхронизации сенсомоторных ритмов в моторной зоне коры больших полушарий, контралатеральной моторному акту, при мысленном представлении оператором образов моторных актов, таких как сжатие кисти руки, перебор пальцами руки и других движений [21]. Показано, что даже пациенты с парезами конечностей способны успешно представлять разнообразные движения парализованными частями тела [22]. Примерами использования такого ИМК в управлении экзоскелетонами являются BCI-RoGO [23] и NeuroRex [24].

Важно отметить, что сравнительно недавно были опубликованы успешные результаты исследования по реабилитации людей, страдающих параплегией, вызванной поражением спинного мозга, с помощью технологии ИМК моторно-воображаемого типа [25]. Протокол реабилитации включал в себя комплексные тренировки с управлением через технологию «интерфейс мозг–компьютер» сценарием виртуальной реальности, экзоскелетом нижних конечностей, тактильной обратной связью и локоматом.

Цель исследования — разработка нейроинтегрированной системы управления роботизированным экзоскелетонным комплексом нижних конечностей на основе сигналов ЭЭГ с помощью технологии «интерфейс мозг–компьютер» моторно-воображаемого типа.

Материалы и методы. В экспериментальных исследованиях участвовали 14 здоровых испытуемых (6 мужчин и 8 женщин в возрасте от 18 до 23 лет), которые перед экспериментом знакомились с условиями его проведения и подписывали информированное согласие. Регламент был одобрен Комиссией по биоэтике ННГУ. Эксперименты проводились без надевания экзоскелетона на оператора. В ходе эксперимента экзоскелетон располагался рядом с оператором на стойке и выполнял движения левой и правой ногой в зависимости от генерируемого оператором паттерна ЭЭГ (см. видео https://drive.google.com/file/d/0BzOUw8ncip3md1dPdzZmZmtka3c/view).

Разработанная нейроинтегрированная система управления ЭРК на основе технологии ИМК состоит из трех основных блоков: блок регистрации ЭЭГ-сигналов; классификатор ЭЭГ-сигналов и программное обеспечение для передачи команд на ЭРК.

Блок регистрации ЭЭГ-сигналов. Регистрацию ЭЭГ-сигналов проводили с помощью сертифицированного усилителя NVX 52 (ООО «Медицинские Компьютерные Системы», Россия). Для записи ЭЭГ использовали 8 отведений (FCz, C5, C3, C1, Cz, C2, C4, C6), размещенных в соответствии с международной схемой 10-10 (рис. 1). Референтный электрод располагался на мочке левого уха, электрод заземления — на лбу. Частота оцифровки сигнала составляла 500 Гц. Сопротивление под электродами не превышало 10 кОм. Сигнал фильтровался в диапазоне от 6 до 15 Гц c Notch-фильтром 50 Гц.

Рис. 1. Схема сессий обучения и тестирования классификатора в контуре технологии «интерфейс мозг–компьютер», основанного на представлении движений; схематично показано расположение электродов, использованных в эксперименте

Классификатор ЭЭГ-сигнала. Методика эксперимента по управлению ЭРК с помощью ИМК включала в себя три последовательные сессии: обучающую, сессию тестирования и сессию управления. Сессии обучения и тестирования служили соответственно для первоначальной настройки классификатора и его тестирования.

В ходе обучения классификатора оператор выполнял одну из трех инструкций: расслабиться при появлении на мониторе изображения крестика, представить движение левой или правой руки при появлении на мониторе изображения стрелки «влево/вправо». Оператору предлагалось выбрать любое движение рукой, комфортное, по его мнению, для воображения. В качестве примеров приводились «перебор» пальцами и вращение кисти руки в лучезапястном суставе. По инструкции расслабиться оператор должен был спокойно сидеть, концентрируясь на дыхании. Количество предъявлений для каждой инструкции составило 10, длительность предъявления — 5 с. Межстимульный интервал составлял 3 с (пустой экран). Стимулы предъявлялись в случайном порядке. Длительность обучения классификатора таким образом составляла 4 мин. Во время предъявления стимулов велась запись ЭЭГ при помощи программы NeoRec (ООО «Медицинские Компьютерные Системы», Россия), которая передавала полученный сигнал по протоколу LSL. Передаваемый сигнал считывался скриптом, написанным на языке Python (www.python.org), который контролировал синхронизацию между предъявлением стимулов и сигналом ЭЭГ.

В качестве контроля успешности освоения методики воображаемых движений проводили оценку степени десинхронизации сенсомоторного ритма. После завершения предъявления всех стимулов полученную запись ЭЭГ по всем каналам подвергали пространственной фильтрации (метод Surface Laplacian [26]). Затем для каждого из наборов данных, соответствующих типу стимула, вычисляли мощность в диапазоне частот от 6 до 15 Гц с шагом 1 Гц по каждому каналу в отдельности. Для записей, соответствующих воображаемым движениям, вычисляли процент изменения мощности относительно «покоя». Результаты картировались (рис. 2). При уменьшении мощности спектра (десинхронизации) в процессе воображаемого движения на величину более 50% оператор считался успешно освоившим методику воображаемых движений и переходил к сессии тестирования классификатора. В случае нескольких неудачных попыток процедура повторялась со сменой типа воображаемого движения.

Рис. 2. Пример топографического распределения степени десинхронизации ЭЭГ для одного оператора:

а — воображаемое движение левой рукой, б — правой; карты представлены для десинхронизации на частоте 13 Гц; темный цвет соответствует максимальной степени десинхронизации, светлый — минимальной

Во время тестирования классификатора результаты распознавания выполняемой ментальной задачи предъявлялись оператору по зрительной обратной связи: от метки в середине экрана, фиксирующей взор, заполнялась вниз шкала зеленого цвета до края экрана, если классификатор распознавал задачу, соответствующую предъявляемой инструкции, и переставала заполняться, если распознавалась другая задача (см. рис. 1).

Распознавание проводили классификатором, построенным на основе линейного дискриминантного анализа, который использует для классификации признаки, выделенные при помощи пространственной фильтрации методом CSP [27] попарно для всех типов команд. Решения парных классификаторов обобщаются «голосованием».

После обучения и тестирования классификатора оператор мог приступать к управлению внешним устройством, в качестве которого выступал ЭРК [28]. Оператору для управления предлагалось по своему усмотрению последовательно выбирать одну из трех команд (представление движения левой или правой рук и покой). Каждые 4,5 с классификатор анализировал запись ЭЭГ, делал заключение и передавал команду, которую выбрал оператор, на внешнее устройство.

Программное обеспечение для передачи команд на экзоскелетонный роботизированный комплекс. На рис. 3 показана схема действия программного обеспечения (ПО), использованного в работе.

Рис. 3. Схема системы управления роботизированным экзоскелетоном на основе технологии «интерфейс мозг–компьютер» моторно-воображаемого типа

ПО классификатора ИМК и ПО управления ЭРК устанавливают на персональный компьютер под управлением операционной системы Windows. Веб-сервис управления экзоскелетоном запускается на встроенном в экзоскелетон микрокомпьютере под управлением Linux-совместимой операционной системы. Передача данных между компьютером и экзоскелетоном осуществляется по беспроводному каналу Wi-Fi.

Система управления ЭРК на основе ИМК моторно-воображаемого типа работает следующим образом. Как было описано выше, данные оператора ЭЭГ с усилителя NVX 52 поступают на классификатор в формате LSL. Каждые 4,5 с номер распознанного классификатором паттерна помещается в протокол пользовательских диаграмм (UDP) и по протоколу TCP/IP отправляется в ПО управления ЭРК. Для удобной настройки системы авторами было разработано оригинальное ПО управления ЭРК. Программа имеет графический пользовательский интерфейс и позволяет менять сопоставление паттернов и команд ЭРК в процессе работы (рис. 4). Программа написана на языке С++ с использованием библиотеки Qt (https://www.qt.io/).

Рис. 4. Графический пользовательский интерфейс программного обеспечения управления экзоскелетонным роботизированным комплексом

ПО управления ЭРК, используя предварительно настроенное соответствие между номером паттерна и командой экзоскелетона, посылает запрос веб-сервису экзоскелетона на исполнение соответствующей команды. Вэб-сервис системы управления экзоскелетоном представляет собой программу, выполняющуюся на борту микропроцессорной платы BeagleBoard-xM под управлением дистрибутива Angstrom операционной системы Linux. Интерфейс вэб-сервиса реализован с применением кодогенератора gSOAP (https://www.cs.fsu.edu/~engelen/soap.html) и обеспечивает возможность запуска паттернов движения конечностей экзоскелетона. Всего реализовано 10 паттернов (выпрямиться, сесть, согнуть/разогнуть правую ногу, согнуть/разогнуть левую ногу, вертикально, эмбрион, прогулка). Каждый из паттернов реализует алгоритм синхронного управления группой из 4 приводов. Параметрами приводов являются предельные углы, по достижении которых движение в соответствующих суставах прекращается, и максимальные моменты силы, выдаваемые на валах приводов суставов в процессе выполнения движения.

Было использовано следующее сопоставление паттернов и команд экзоскелетона:

паттерн 1 (воображение движения левой конечностью) — сгибание/разгибание левой ноги экзоскелетона;

паттерн 2 (воображение движения правой конечностью) — сгибание/разгибание правой ноги экзоскелетона.

Результаты. По результатам работы оператора рассчитывалась средняя точность управления скелетоном с помощью данного ИМК как отношение общего числа правильно введенных команд к общему числу попыток. Каждому оператору в каждой сессии предоставлялось 10 попыток для каждой команды.

В результате тестирования на 14 добровольцах (см. таблицу) средняя точность управления в разработанном моторно-воображаемом ИМК для трех команд составляет в трех сессиях соответственно: 73, 71 и 66%. Как видно, в среднем показатели точности выбора команды в разных сессиях не сильно различаются. При этом интересно отметить, что индивидуальные результаты по показателю точности при тестировании классификатора хорошо предсказывают (коэффициент корреляции =0,8) последующие оценки точности работы со скелетоном. Отметим также, что часть испытуемых (порядка трети) уверенно достигали достаточно высокой точности (90% и выше).

В дальнейшем планируется провести испытания разработанной системы управления в экспериментах с надеванием экзоскелетона на группе здоровых людей и людей с выраженным двигательным дефицитом, а также разработать индивидуальные методики обучения оператора для достижения более высокой точности управления.

Заключение. Разработанная система управления роботизированным экзоскелетонным комплексом (экзоскелетоном нижних конечностей) на основе технологии «интерфейс мозг–компьютер» моторно-воображаемого типа обладает достаточно высокой точностью для трех команд. В качестве роботизированного комплекса реабилитации эта система может использоваться как средство активного электромеханического ассистирования движениям пациента с выраженным двигательным дефицитом, для формирования и тренировки нарушенных постуральных функций у пациентов с расстройством функционирования моторных центров и проводимости нервных сигналов спинным мозгом с клиникой частичной или полной параплегии (инсульт, черепно-мозговая травма, повреждение спинного мозга, церебральный паралич и другие заболевания).

Финансирование исследования. Работа выполнена при поддержке Российского научного фонда, грант №15-19-20053.

Конфликт интересов. Авторы подтверждают отсутствие конфликтов интересов, о которых необходимо сообщить.

Литература

Каплан А.Я. Нейрофизиологические основания и практические реализации технологии мозг-машинных интерфейсов в неврологической реабилитации. Физиология человека 2016; 42(1): 118–127, https://doi.org/10.7868/s0131164616010100.
Fedotchev А.I., Parin S.B., Polevaya S.A., Velikova S.D. Brain–computer interface and neurofeedback technologies: current state, problems and clinical prospects (review). Sovremennye tehnologii v medicine 2017; 9(1): 175–184, https://doi.org/10.17691/stm2017.9.1.22.
Nudo R.J., Milliken G.W., Jenkins W.M., Merzenich M.M. Use-dependent alterations of movement representations in primary motor cortex of adult squirrel monkeys. J Neurosci 1996; 16(2): 785–807.
Bach-Y-Rita P. Theoretical and practical considerations in the restoration of function after stroke. Top Stroke Rehabil 2001; 8(3): 1–15, https://doi.org/10.1310/8t1t-etxu-8pdf-9x7f.
Taub E., Uswatte G., Elbert T. New treatments in neurorehabilitation founded on basic research. Nat Rev Neurosci 2002; 3(3): 228–236, https://doi.org/10.1038/nrn754.
Kwakkel G., Wagenaar R.C., Twisk J.W., Lankhorst G.J., Koetsier J.C. Intensity of leg and arm training after primary middle-cerebral-artery stroke: a randomised trial. Lancet 1999; 354(9174): 191–196, https://doi.org/10.1016/s0140-6736(98)09477-x.
Marchal-Crespo L., Reinkensmeyer D.J. Review of control strategies for robotic movement training after neurologic injury. J Neuroeng Rehabil 2009; 6(1): 20, https://doi.org/10.1186/1743-0003-6-20.
Фролов А.А., Бирюкова Е.В., Бобров П.Д., Мокиенко О.А., Платонов А.К., Пряничников В.Е., Черникова Л.А. Принципы нейрореабилитации, основанные на использовании интерфейса «мозг–компьютер» и биологически адекватного управления экзоскелетоном. Физиология человека 2013; 39(2): 99–113, https://doi.org/10.7868/s0131164613020033.
Van der Kooij H., Koopman B., van Asseldonk E.H.F. Body weight support by virtual model control of an impedance controlled exoskeleton (LOPES) for gait training. Conf Proc IEEE Eng Med Biol Soc 2008; 2008: 1969–1972, https://doi.org/10.1109/iembs.2008.4649574.
Banala S.K., Seok H.K., Agrawal S.K., Scholz J.P. Robot assisted gait training with active leg exoskeleton (ALEX). IEEE Trans Neural Syst Rehabil Eng 2009; 17(1): 2–8, https://doi.org/10.1109/tnsre.2008.2008280.
Wang S., Wang L., Meijneke C., van Asseldonk E., Hoellinger T., Cheron G., Ivanenko Y., La Scaleia V., Sylos-Labini F., Molinari M., Tamburella F., Pisotta I., Thorsteinsson F., Ilzkovitz M., Gancet J., Nevatia Y., Hauffe R., Zanow F., van der Kooij H. Design and control of the MINDWALKER exoskeleton. IEEE Trans Neural Syst Rehabil Eng 2015; 23(2): 277–286, https://doi.org/10.1109/tnsre.2014.2365697.
Kaplan A.Ya., Lim J.J., Jin K.S., Park B.W., Byeon J.G., Tarasova S.U. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Int J Neurosci 2005; 115(6): 781–802, https://doi.org/10.1080/00207450590881975.
Wolpaw J.R., Birbaumer N., McFarland D.J., Pfurtscheller G., Vaughan T.M. Brain–computer interfaces for communication and control. Clin Neurophysiol 2002; 113(6): 767–791, https://doi.org/10.1016/s1388-2457(02)00057-3.
Kelly S.P., Lalor E.C., Finucane C., McDarby G., Reilly R.B. Visual spatial attention control in an independent brain–computer interface. IEEE Trans Biomed Eng 2005; 52(9): 1588–1596, https://doi.org/10.1109/tbme.2005.851510.
Kaplan A.Ya., Zhigulskaya D.D., Kirjanov D.A. Studying the ability to control human phantom fingers in P300 brain-computer interface. Bulletin of Russian State Medical University 2016; 2: 24–28.
Farwell L.A., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr Clin Neurophysiol 1988; 70(6): 510–523, https://doi.org/10.1016/0013-4694(88)90149-6.
Brunner P., Bianchi L., Guger C., Cincotti F., Schalk G. Current trends in hardware and software for brain–computer interfaces (BCIs). J Neural Eng 2011; 8(2): 025001, https://doi.org/10.1088/1741-2560/8/2/025001.
Kwak N.S., Müller K.R., Lee S.W. A lower limb exoskeleton control system based on steady state visual evoked potentials. J Neural Eng 2015; 12(5): 056009, https://doi.org/10.1088/1741-2560/12/5/056009.
Kaplan A., Vasilyev A., Liburkina S., Yakovlev L. Poor BCI performers still could benefit from motor imagery training. In: Schmorrow D., Fidopiastis C. (editors). Foundations of augmented cognition: neuroergonomics and operational neuroscience. AC 2016. Lecture notes in computer science. Vol 9743. Springer International Publishing, Cham; 2016; p. 46–56, https://doi.org/10.1007/978-3-319-39955-3_5.
Mulder Th. Motor imagery and action observation: cognitive tools for rehabilitation. J Neural Transm (Vienna) 2007; 114(10): 1265–1278, https://doi.org/10.1007/s00702-007-0763-z.
Васильев А.Н., Либуркина С.П., Каплан А.Я. Латерализация паттернов ЭЭГ у человека при представлении движений руками в интерфейсе мозг–компьютер. Журнал высшей нервной деятельности им. И.П. Павлова 2016; 66(3): 302–312, https://doi.org/10.7868/s0044467716030126.
De Vries S., Tepper M., Feenstra W., Oosterveld H., Boonstra A.M., Otten B. Motor imagery ability in stroke patients: the relationship between implicit and explicit motor imagery measures. Front Hum Neurosci 2013; 7: 790, https://doi.org/10.3389/fnhum.2013.00790.
Do A.H., Wang P.T., King C.E., Chun S.N., Nenadic Z. Brain-computer interface controlled robotic gait orthosis. J Neuroeng Rehabil 2013; 10(1): 111, https://doi.org/10.1186/1743-0003-10-111.
Contreras-Vidal J.L., Grossman R.G. NeuroRex: a clinical neural interface roadmap for EEG-based brain machine interfaces to a lower body robotic exoskeleton. Conf Proc IEEE Eng Med Biol Soc 2013; 2013: 1579–1582, https://doi.org/10.1109/embc.2013.6609816.
Donati A.R., Shokur S., Morya E., Campos D.S., Moioli R.C., Gitti C.M., Augusto P.B., Tripodi S., Pires C.G., Pereira G.A., Brasil F.L., Gallo S., Lin A.A., Takigami A.K., Aratanha M.A., Joshi S., Bleuler H., Cheng G., Rudolph A., Nicolelis M.A. Long-term training with a brain-machine interface-based gait protocol induces partial neurological recovery in paraplegic patients. Sci Rep 2016; 6: 30383, https://doi.org/10.1038/srep30383.
Hjort B. An on-line transformation of EEG scalp potentials into orthogonal source derivations. Electroencephalogr Clin Neurophysiol 1975; 39(5): 526–530, https://doi.org/10.1016/0013-4694(75)90056-5.
Koles Z.J., Lazar M.S., Zhou S.Z. Spatial patterns underlying population differences in the background EEG. Brain Topogr 1990; 2(4): 275–284, https://doi.org/10.1007/bf01129656.
Mineev S.A., Novikov V.A., Kuzmina I.V., Shatalin R.A., Grin I.V. Goniometric sensor interface for exoskeleton system control device. Biomed Eng 2016; 49(6): 357–361, https://doi.org/10.1007/s10527-016-9566-6.