Мобильная система управления экзоскелетом с помощью электромиографических сигналов мышц человека

М.А. Хоружко, Г.Н. Сесекин, Н.В. Болдырева, М.О. Шамшин, И.А. Кастальский, В.И. Миронов, А.С. Пимашкин, В.Б. Казанцев

Ключевые слова: поверхностная электромиография; нейроинтерфейс; нейрореабилитация; интеллектуальное ассистирование; экзоскелет.

Цель исследования — разработать беспроводную систему регистрации и анализа электромиографической (ЭМГ) активности мышц человека для интеллектуального ассистирования пациентам с моторными нарушениями.

Результаты. Разработаны и протестированы одноканальная и четырехканальная системы трансляции сигналов напряжения мышц в управляющие команды экзоскелета и алгоритмы управления. Отличительными их особенностями являются мобильность, портативность и наличие беспроводных датчиков-усилителей (миографов) ЭМГ-сигнала. Экспериментальные исследования обеих систем показали высокое качество ЭМГ-сигнала и возможность пропорционального управления исполнительными устройствами. Области применения мобильного миографа — функциональная диагностика, нейроинтерфейсы, медицинская реабилитация, ассистивные устройства, системы управления, игровые приложения.

В технологиях восстановительной медицины одним из наиболее перспективных направлений является разработка устройств для двунаправленного взаимодействия человека с роботизированными устройствами реабилитации. Особый интерес в последнее время уделяется адаптивному управлению с помощью биоэлектрических сигналов центральной и периферической нервной системы человека [1]. В последнее время в связи с бурным развитием и миниатюризацией электроники все больше внимания уделяется исследованию и разработке интерфейсов с мышцами человека, поскольку такой интерфейс имеет большое количество степеней свободы. Для решения фундаментальной задачи выделения полезного сигнала управления из электромиографических (ЭМГ) сигналов мышц человека постоянно разрабатываются новые технологии [2], математические методы и подходы с привлечением нелинейной динамики и нейронных сетей [3, 4].

Для оценки степени напряжения мышц используют различные алгоритмы обработки ЭМГ-сигналов. Самый распространенный основан на вычислении среднеквадратичной ошибки (root mean square, RMS) в плавающем временнóм окне [5] и чаще всего достаточен для извлечения общих сведений о напряжении одной или нескольких групп мышц. Для получения более детальных характеристик, отражающих сложные паттерны сокращения, используют спектральные характеристики ЭМГ-сигнала, извлечение потенциалов действия моторных единиц [6] с использованием классификаторов [7] и различных методов машинного обучения [8–10].

Интерфейсы трансляции сигналов мышц находят применение в биомедицинских приложениях для управления электромеханическими протезами верхних конечностей [11], комплексами реабилитации [12] и экзоскелетами как верхних, так и нижних конечностей [13–17]. Особый интерес представляет собой разработка интерфейса для экзоскелетов, поскольку данное направление в реабилитации — одно из наиболее перспективных. Уже разработаны интерфейсы для пациентов с полным или частичным повреждением спинного мозга [15], интерфейсы управления роботизированной лодыжкой [16], сменой позы сидя–стоя [13] или управления сигналами мышц верхних конечностей [18].

В данной работе представлен и протестирован интерфейс пропорционального управления фазой шага экзоскелета с помощью четырехканальной системы регистрации активности мышц. Пропорциональное управление положением (углами сгиба) ног экзоскелета с помощью мышц нижних конечностей в случаях как минимум частичного функционирования интуитивно понятно для пользователя, что может ускорить процессы реабилитации. В случаях параплегии нижних конечностей предложенный метод позволяет также осуществлять пропорциональное управление при установке сенсоров на любые другие функционирующие мышцы. Для решения данной задачи был разработан одноканальный миниатюрный и беспроводной миограф, который мог быть легко установлен на любую мышцу для регистрации миографических сигналов. Затем на базе одноканального был разработан четырехканальный миограф, позволяющий с тем же блоком управления регистрировать активность мышц нижних конечностей для управления четырьмя моторами экзоскелета.

Материалы и методы

Одноканальная система. В основе одноканальной системы управления используется одноканальный беспроводной миограф на базе дифференциального усилителя (ДУ) AD8221 (Analog Devices, США) и микроконтроллера Attiny (Atmel Corporation, США). Электропитание осуществляется с помощью литий-полимерного (Li-Pol) аккумулятора 3,7 В емкостью 250 мА·ч. С помощью передатчика NRF24L01 (Nordic Semiconductor, Норвегия) миограф транслирует по радиоканалу регистрируемые ЭМГ-сигналы на блок управления (рис. 1, а).

Рис. 1. Одноканальная система регистрации ЭМГ-сигналов:

а — одноканальный миограф и блок управления; б — вид миографа, расположенного на предплечье, для регистрации активности мышцы-разгибателя

Блок управления на базе микроконтроллера atmega328 (Atmel Corporation, США) состоит из радиомодуля NRF24L01 в качестве приемника, платы управления и передачи данных и подключается по USB-интерфейсу к компьютеру с операционной системой Ubuntu или к плате BeagleBoard-XM (Beagle-Board.org Foundation, США) (в реальном эксперименте с экзоскелетом).

Блок управления, который непрерывно получает от миографа данные в виде последовательности значений цифрового сигнала с частотой дискретизации 1 кГц, выполняет основную функцию обработки сигналов мышц и трансляцию в управляющие команды. По разработанному авторами алгоритму он вычисляет силу напряжения мышцы как среднеквадратичную ошибку исходного ЭМГ-сигнала во временнóм окне 300 мс и определяет ее как RMS-сигнал. На управляемое устройство обработанный RMS-сигнал поступает через COM-порт.

В данной системе управления реализован режим нормировки сигналов управления на минимальные и максимальные сокращения мышц (RMS-сигналы). В этом режиме производится анализ полученных значений RMS и программа находит и запоминает минимальное и максимальное значения, при этом испытуемый совершает периодические расслабления и сокращения мышцы до максимально возможных.

Четырехканальная система. Выполненная на базе одноканальной четырехканальная система управления (рис. 2) состоит из четырех объединенных между собой одноканальных усилителей, одного объединяющего микроконтроллера atmega328 и одного радиомодуля NRF24L01 для трансляции сигналов четырех мышц одновременно на блок сопряжения.

Рис. 2. Четырехканальная система регистрации ЭМГ-сигналов:

а — четырехканальный миограф и медицинский электрод; б — схема преобразования ЭМГ-сигнала в управляющие команды на моторы экзоскелета; ДУ — дифференциальный усилитель

Полученные данные с блока сопряжения поступают по USB-интерфейсу на блок управления экзоскелетом на базе микрокомпьютера BeagleBoard-XM. По разработанному алгоритму в контроллере блок управления обрабатывет попарно миографические сигналы с мышц-антагонистов для получения соответствующего разностного RMS-сигнала. Полученный сигнал служит основой для вычисления угла поворота привода экзоскелета. Для формирования управляющего воздействия на привод был применен цифровой контроллер (PID-контроллер).

Величину момента силы на выходе PID-контроллера вычисляли по формуле:

где в данной реализации: P — пропорциональная, I — интегральная, D — дифференциальная составляющая функции; K_p, K_i, K_d — их соответствующие коэффициенты; e(t) — ошибка в текущий момент времени.

В работе использовали экзоскелет, состоящий из блока управления, механического каркаса, четырех бесколлекторных моторов и аккумулятора. Каркас позволяет пилоту сгибать каждую ногу в бедренном, коленном суставах и в ступне (рис. 2, б).

Результаты

Тестирование характеристик системы. Для оценки возможности использования беспроводного устройства —усилителя ЭМГ-сигналов напряжения мышц — было проведено тестирование основных характеристик.

Основная характеристика усилителя — коэффициент усиления дифференциального сигнала, в результате тестирования было найдено его значение, равное 500.

Далее была проведена оценка коэффициента ослабления синфазного сигнала (КОСС) в миографе, который отражает точность обработки аналогового сигнала, особенно при усилении слабых сигналов. КОСС определяется как отношение коэффициентов усиления дифференциального и синфазного сигналов. В результате тестирования было получено значение КОСС, равное 101,6±0,4 дБ. Значение КОСС дифференциального усилителя AD8221, входящего в состав разработанного устройства, равно 100 дБ, что соответствует экспериментальным измерениям и характеризует высокое качество усиления сигнала и подавления синфазных помех.

Также была выполнена оценка третьей ключевой характеристики устройства — отношение сигнал/шум (ОСШ). ОСШ — безразмерная величина, равная отношению мощности полезного сигнала к мощности шума, которая отражает влияние шума на характеристики выделения полезного сигнала системы. В серии экспериментов подавались сигналы синусоидальной формы частотой 35 Гц, амплитудой 100, 200 и 500 мкВ с генератора сигналов напряжения на сенсор и беспроводной усилитель сигналов ЭМГ.

Было установлено, что среднее ОСШ для входного сигнала с амплитудой 100 мкВ составляло 11,9±0,5 дБ, для 200 мкВ —19,3±0,7 дБ, для 500 мкВ —29,2±0,9 дБ. Экспериментально измеренные серии значений ОСШ показывают стабильность этой характеристики, но в большинстве случаев подобный уровень будет считаться невысоким. Однако нормальные значения в подобных усилителях сигналов (обычно 50 дБ и более) указываются при измерении в идеальных условиях. К ним могут относиться: наличие экранировки, отсутствие включенных бытовых устройств, большая площадь лабораторного помещения, наличие аппаратных фильтров в эксперименте. Столь точные измерения в условиях шумового фона в реальных условиях недостижимы. Кроме того, в систему беспроводного усилителя также входят микроконтроллер и радиомодуль, представляющие собой добавочные источники шумов. Таким образом, показатели отношения ОСШ, измеренные в условиях, приближенных к эксплуатационным, можно считать высокими, так как они незначительно меньше стандартных показателей в идеальных условиях.

Для сравнения возможностей разработанного устройства — мобильного миографа —с мировыми аналогами были проанализированы их основные технические характеристики (см. таблицу).

Сравнительная таблица характеристик ЭМГ-устройств

Проведенное сравнение показало, что по критичным параметрам мобильный миограф не уступает мировым аналогам и позволяет реализовывать нужные задачи ЭМГ-управления.

Тестирование интерфейса разработанных систем с экзоскелетом. Тестирование одноканальной системы регистрации и обработки ЭМГ-сигнала на предмет работоспособности и возможности онлайн-сопряжения с различными исполнительными устройствами проводили на макете электромеханической кисти и экзоскелете нижних конечностей в режиме пропорционального управления.

В эксперименте с макетом кисти руки было достигнуто согласованное управление сгибом электромеханических пальцев с задержкой, не превышающей 300 мс. Мобильный миограф предоставлял возможность пропорционального управления при расположении на различных мышцах руки.

Далее было протестировано управление одним мотором экзоскелета (сгибание ноги) с помощью миографа, установленного на мышцу сгибателя голени человека. Лучшим результатом в данном опыте было полное визуальное копирование движений. Однако в ходе исследования выявлен ряд недостатков такой системы нейроуправления. Первое — этоинерционность конструкции экзоскелета, обусловленная массой и габаритами, что приводит к большим значениям моментов инерции конструкции. Данный недостаток является инженерной проблемой. Совершенствование конструкции в будущем позволит его устранить. Второе — при сильном напряжении мышцы значения RMS-сигналов нестабильны и нелинейно зависят и от силы сокращения, что приводит к трудности управления моторами экзоскелета.

Для приведения экзоскелета в движение использовались моторы, расположенные на бедре и колене каждой ноги экзоскелета. Для приведения моторов в движение на их контроллеры через специальный программный интерфейс подавалось значение момента силы. Знак значения определял направление вращения моторов. Также на бедрах и коленях экзоскелета были установлены датчики углов поворота.

Для управления экзоскелетом сигналами активности мышц были разработаны оригинальные программы обработки и интерпретации данных [19, 20], а также изготовлены два четырехканальных усилителя для регистрации ЭМГ-сигналов. При подготовке к эксперименту на пилоте были установлены по четыре пары ЭМГ-электродов на каждой ноге (рис. 3, а) на следующих мышцах:

сгибателе бедра (подвздошно-поясничная мышца, musculus iliopsoas);

разгибателе бедра (большая ягодичная мышца, gluteus maximus);

сгибателе голени (седалищно-бедренные мышцы, ischium-femoral muscles);

разгибателе голени (четырехглавая мышца бедра, musculus quadriceps femoris).

Рис. 3. Управление моторами экзоскелета с помощью сигналов с четырех мышц:

а — расположение ЭМГ-электродов на нижних конечностях для управления экзоскелетом: 1 — сгибатель бедра (подвздошно-поясничная мышца, musculus iliopsoas); 2 — разгибатель бедра (большая ягодичная мышца, gluteus maximus); 3 — разгибатель голени (четырехглавая мышца бедра, musculus quadricepsfemoris); 4 — сгибатель голени (седалищно-бедренные мышцы, ischium-femoral muscles); б — схема алгоритма пропорционального управления

Каждая пара электродов располагалась вдоль мышцы на расстоянии 2 см. Данные с каждого сенсора обрабатывали в реальном масштабе времени для устранения постоянной составляющей сигнала, далее рассчитывали значение RMS для выделения полезного сигнала силы сокращения мышцы.

Пропорциональное управление выполняли в соответствии с алгоритмом, представленным на рис. 3, б.

Сначала вычисляли разность RMS-сигналов сгибателя и разгибателя. Затем значение разности нормировали с учетом пределов углов поворота моторов и подавали на PID-контроллер, который вычислял момент силы для управления двигателем экзоскелета (см. «Материалы и методы»). Значения, полученные с датчика угла поворота, использовались PID-контроллером в качестве обратной связи для расчета ошибки. Программа в блоке управления рассчитывала моменты в соответствии с описанным алгоритмом и отправляла их на контроллер моторов экзоскелета, что приводило к выполнению движения.

По результатам тестирования четырехканальная система показала хорошую отзывчивость и предсказуемость. Однако было отмечено некоторое ухудшение управляемости экзоскелетом при увеличении нагрузки. После анализа результатов было установлено, что для оптимальной работы системы управления следует обеспечить высокую точность учета момента инерции при расчетах прилагаемых моментов сил на двигатели. В перспективе будут разработаны методы вычисления моментов инерции элементов экзоскелета и пациента для коррекции алгоритма управления.

Разработанное устройство трансляции напряжения мышц в команды экзоскелета не ограничивается исключительно экзоскелетными приложениями. Оно позволит реализовать различные способы функциональной диагностики, а также управлять ассистивными приборами для реабилитации (коляски, электростимуляторы, сигналы тревоги и т.д.); в игровых и обучающих приложениях может применяться как дополнительный способ управления. С помощью данной мобильной системы уже сейчас можно проводить оценку тонуса мышц после тренировок или при анализе силы напряжения отдельных мышц в режиме реального времени, что крайне важно в реабилитации пациентов с неврологическими патологиями.

Заключение. Предлагаемое устройство регистрации электромиографической активности и алгоритмы оценки функциональных характеристик мышечной системы пилота позволят создать уникальные кооперативные стратегии управления экзоскелетным устройством. Так, в системе управления реабилитационным комплексом может быть предусмотрена возможность оценки собственных усилий, развиваемых мышцами нижних конечностей пациента, на основании данных регистрации ЭМГ-активности. В сочетании с последними достижениями в теории управления, основанными на количественном расчете управляющих воздействий (моментов вращения в сочленениях устройства), необходимых для реализации требуемого локомоторного паттерна, создается возможность дозированной ассистенции (так называемый подход assistance-as-needcontrol). Иными словами, система управления стимулирует пользователя к более активному участию в совершении локомоции взамен простого повторения фиксированных движений, как это происходит в подавляющем большинстве экзоскелетов.

Финансирование исследования. Работа выполнена при поддержке Министерства образования и науки РФ в рамках Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы». Соглашение о предоставлении субсидии №14.578.21.0107 от 27.10.2015 г. (уникальный идентификатор проекта RFMEFI57815X0107).

Конфликт интересов. У авторов нет конфликта интересов.

Литература

Каплан А.Я. Нейрофизиологические основания и практические реализации технологии мозг-машинных интерфейсов в неврологической реабилитации. Физиология человека 2016; 42(1): 118–127, https://doi.org/10.7868/S0131164616010100.
De Luca C.J., Kuznetsov M., Gilmore L.D., Roy S.H. Inter-electrode spacing of surface EMG sensors: reduction of crosstalk contamination during voluntary contractions. J Biomech 2012; 45(3): 555–561, https://doi.org/10.1016/j.jbiomech.2011.11.010.
Saponas T.S., Tan D.S., Morris D., Balakrishnan R. Demonstrating the feasibility of using forearm electromyography for muscle-computer interfaces. In: CHI ‘08 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM Press; 2008, 515–524, https://doi.org/10.1145/1357054.1357138.
Chaudhary A., Raheja J.L. Bent fingers’ angle calculation using supervised ANN to control electro-mechanical robotic hand. Computers & Electrical Engineering 2013; 39(2): 560–570, https://doi.org/10.1016/j.compeleceng.2012.07.012.
Mathiassen S.E., Winkel J., Hägg G.M. Normalization of surface EMG amplitude from the upper trapezius muscle in ergonomic studies — a review. J Electromyogr Kinesiol 1995; 5(4): 197–226, https://doi.org/10.1016/1050-6411(94)00014-X.
Jiang Y., Sakoda S., Hoshigawa S., Ye H., Yabuki Y., Nakamura T., Ishihara M., Takagi T., Takayama S., Yokoi H. Development and evaluation of simplified EMG prosthetic hands. In: 2014 IEEE International Conference on Robotics and Biomimetics (ROBIO 2014). IEEE; 2014; 1368–1373, https://doi.org/10.1109/ROBIO.2014.7090524.
Lobov S., Mironov V., Kastalskiy I., Kazantsev V. A spiking neural network in sEMG feature extraction. Sensors 2015; 15(11): 27894–27904, https://doi.org/10.3390/s151127894.
Siqueira Júnior A.L.D., Soares A.B. A novel method for EMG decomposition based on matched filters. Res Biomed Eng 2015; 31(1): 44–55, https://doi.org/10.1590/2446-4740.0643.
Huang H.-P., Liu Y.-H., Liu L.-W., Wong C.-S. EMG classification for prehensile postures using cascaded architecture of neural networks with self-organizing maps. In: 2003 IEEE International Conference on Robotics and Automation. IEEE; 2003; 1497–1502, https://doi.org/10.1109/ROBOT.2003.1241803.
Christodoulou C.I., Pattichis C.S. Unsupervised pattern recognition for the classification of EMG signals. IEEE Trans Biomed Eng 1999; 46(2): 169–178, https://doi.org/10.1109/10.740879.
Micera S., Carpaneto J., Raspopovic S. Control of hand prostheses using peripheral information. IEEE Rev Biomed Eng 2010; 3: 48–68, https://doi.org/10.1109/RBME.2010.2085429.
Molanes R.F., Fariña J., Rodríguez-Andina J.J., Portela M. Design of a muscle activity monitor for rehabilitation of post-stroke patients. In: 2015 IEEE International Conference on Industrial Technology (ICIT). IEEE; 2015; p. 1427–1432, https://doi.org/10.1109/icit.2015.7125297.
Tsukahara A., Kawanishi R., Hasegawa Y., Sankai Y. Sit-to-stand and stand-to-sit transfer support for complete paraplegic patients with robot suit HAL. Advanced Robotics 2010; 24(11): 1615–1638, https://doi.org/10.1163/016918610x512622.
Strausser K.A., Kazerooni H. The development and testing of a human machine interface for a mobile medical exoskeleton. In: 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE; 2011; p. 4911–4916, https://doi.org/10.1109/iros.2011.6095025.
Zeilig G., Weingarden H., Zwecker M., Dudkiewicz I., Bloch A., Esquenazi A. Safety and tolerance of the ReWalk™ exoskeleton suit for ambulation by people with complete spinal cord injury: a pilot study. J Spinal Cord Med 2012; 35(2): 96–101, https://doi.org/10.1179/2045772312y.0000000003.
Koller J.R., Jacobs D.A., Ferris D.P., Remy C.D. Learning to walk with an adaptive gain proportional myoelectric controller for a robotic ankle exoskeleton. J Neuroeng Rehabil 2015; 12(1): 97, https://doi.org/10.1186/s12984-015-0086-5.
Tang Z., Zhang K., Sun S., Gao Z., Zhang L., Yang Z. An upper-limb power-assist exoskeleton using proportional myoelectric control. Sensors 2014; 14(4): 6677–6694, https://doi.org/10.3390/s140406677.
George T., Shalu G.K., Sivanandan K.S. Sensing, processing and application of EMG signals for HAL (Hybrid Assistive Limb). In: International Conference on Sustainable Energy and Intelligent Systems (SEISCON 2011). IET; 2011; p. 749–753, https://doi.org/10.1049/cp.2011.0463.
Дудник А.В., Лобов С.А., Кастальский И.А. Программа детектирования фаз походки на основе электромиограммы мышц ног (MyoStep). А.с. РФ 2016663327. 2017.
Хоружко М.А., Пимашкин А.С., Шамшин М.О. Программа пропорционального управления экзоскелетом сигналами мышечной активности человека ExoMyo. А.с. РФ 2017611289. 2017.