Совместное использование командного и пропорционального управления внешними робототехническими устройствами на основе электромиографических сигналов

Использование сигналов мозга и мышц человека для адаптивного управления внешними роботизированными устройствами является актуальной междисциплинарной задачей, решение которой лежит как в различных фундаментальных областях (нейробиология, нейротехнологии), так и в прикладной биомедицине (устройства и методики реабилитации, экзопротезы и экзоскелеты, тренажеры и др.) [1–14]. Из множест­ва работ можно выделить два основных направления исследований. Первое имеет целью реализовать мозго-машинные интерфейсы для широкого круга пользователей по нейроуправлению механизированными программно-аппаратными платформами [12–15]. Второе направление сосредоточено на решении задач биомедицинского профиля, и акцент здесь смещен в сторону реабилитации пациентов с нарушениями двигательных функций в результате травм или заболеваний нервной системы [8–11, 13, 16, 17].

Ярким примером передового класса устройств, сочетающих последние достижения теории управления и нейроинтерфейсов и восстановительной медицины, могут служить экзоскелетонные комплексы [4–7, 17]. Неотъемлемой частью таких систем является интерпретатор информации, поступающей с множества биометрических сенсоров, — классификатор моторных паттернов, реализация которого требует особого подхода [18–20].

В данной работе мы предлагаем комплексный алгоритм для реализации системы управления с помощью сигналов электромиографии (ЭМГ). Данный алгоритм является универсальным — объектами управления могут служить различные роботизированные устройст­ва — мобильные и гуманоидные роботы, экзоскелеты верхних и нижних конечностей.

При решении задачи управления внешними («аддитивными») устройствами с помощью ЭМГ-сигналов может быть использовано несколько стратегий. Тривиальные методы основываются на одноканальной регистрации и сводятся либо к триггерному управлению на основе порогового детектирования сигнала, либо к пропорциональному управлению в случае непрерывного мониторинга какого-либо признака, выделенного из ЭМГ-сигнала. Отметим, что многоканальная регистрация существенно расширяет возможности управления, при этом используются совершенно новые способы обработки сигналов, такие как классификация ЭМГ-паттернов и многоканальная регрессия [11, 14, 21].

Метод классификации паттернов идеально сочетается с командным управлением и может быть использован в случае, когда управляемое устройство снабжено автономной локальной управляющей системой, способной отрабатывать макрокоманды. В свою очередь, пропорциональное управление востребовано при отсутствии такой локальной управляющей системы, а также в случае необходимости обеспечения определенной точности выполняемого движения.

Цель исследования — разработать новый прин­цип совмещения командного и пропорционального способов управления, при котором тип выполняемого устройством движения определяется на основе классификации, а скорость его выполнения в каждый момент времени — на основе характеристик ЭМГ-сигналов.

Материалы и методы. В экспериментах принимали участие 10 здоровых испытуемых в возрасте от 20 до 56 лет. Исследование осуществлено в соответствии с Хельсинкской декларацией (принятой в июне 1964 г. (Хельсинки, Финляндия) и пересмотренной в октябре 2000 г. (Эдинбург, Шотландия)) и одобрено Этическим комитетом Нижегородского государственного университета им. Н.И. Лобачевского. От каждого пациента получено информированное согласие.

Регистрацию ЭМГ-сигналов проводили с помощью 8-канального миобраслета MYO Thalmic (Thalmic Labs, Канада) (рис. 1). Электроды в данном устройстве расположены по кольцу вокруг предплечья руки. Такая локализация в определенной степени усложняет задачу распознавания ЭМГ-паттернов по сравнению с более распространенными схемами [18], где положение электрода определяется локализацией моторных зон изучаемых мышц.

---

Рис. 1. Реализованный вариант программно-аппаратного комплекса: браслет MYO Thalmic, ноутбук с программой управления, мобильный робот

---

Поток данных каждого канала разбивали на окна размером 200 образцов, с учетом частоты дискретизации 2000 Гц это соответствовало временнόму интервалу 100 мс. Такое кадрирование производилось с шагом 100 образцов (50 мс). Для каждого окна вычисляли средний квадрат сигнала (Root Mean Square, RMS), который в качестве характеристики сигнала (признака) использовали далее для задач классификации:

где N — количество значений сигнала во временнόм окне; х_n — значение сигнала в момент времени n.

Для пропорционального управления использовали среднее абсолютное значение (Mean Absolute Value, MAV) — величину сигнала, взятого по модулю и усредненного по всем отсчетам в окне:

Так как размер окна для успешного пропорционального управления априори не был известен, и его необходимо было варьировать в ходе экспериментов, а также из-за того, что расчет RMS и MAV мог требовать окон различных размеров, MAV в работе рассчитывали с помощью формулы экспоненциально скользящего среднего, не требующего сегментации данных на окна:

где MAV_t — экспоненциальное скользя­щее среднее абсолютное значение в точке t (текущее значение), MAV_t–1 — значение экспоненциального скользящего среднего в точке t–1 (предыдущее значение); х_t — значение ЭМГ-сигнала в момент времени t (последнее регистрируемое значение); α — коэффициент, характе­ризующий скорость уменьшения весов.

Коэффициент α характеризует влияние предыдущих значений на текущую величину среднего и может быть выражен через значение окна усреднения:

где n — количество значений исходной функции.

В задаче классификации в качестве моторных паттернов использовали 6 статичных жестов кисти (рис. 2, блок классификации выделен зеленой рамкой). Испытуемые производили 4 серии по 9 жестов в случайном порядке, каждый жест выполнялся в течение 2–3 с. Между разными жестами кисть расслаблялась.

---

Рис. 2. Интерфейс программы управления робототехническим устройством с помощью ЭМГ-сигналов. Блок классификации выделен зеленой рамкой, блок пропорционального контроля — красной, блок визуализации ЭМГ-сигналов — синей. Вставка демонстрирует результат эксперимента с пропорциональным управлением

---

Вычисленные по формуле (1) значения RMS всех каналов подавались на вход классификатора, в качестве которого применялась многослойная сеть формальных нейронов со стандартным алгоритмом обратного распространения ошибки. Для машинного обучения требовалось 1000–4000 итераций (эпох), что занимало 15–60 с при расчете на компьютере с процессором класса Intel Core I3. После этой процедуры классификатор мог работать в онлайн-режиме, при этом в интерфейсе программы распознанный жест подсвечивался (см. рис. 2, «Команда 1»).

Для изучения пропорционального управления и возможности его совмещения с командным управле­нием был разработан функционал, реализованный в блоке Proportional control главной формы программного обеспечения (рис. 2, выделено красной рамкой).

Характер зависимости амплитуды ЭМГ-сигнала от силы сокращения мышц изучали с помощью кистевого эспандера, имеющего шкалу с метками 25, 50, 75 и 100%. Предварительные исследования показали, что по уровню ЭМГ-сигнала (значение MAV) сжатие эспандера до метки 100% соответствовало сжатию кистевого динамометра с усилием 320 H. От дальнейшего использования динамометра отказались из-за режима фиксации при максимальном усилии. Сначала регистрировали MAV одного из ЭМГ-каналов при сжатии эспандера до метки 100% и удержании на этом значении на протяжении 3 с. Далее испытуемый расслаблял кисть и после паузы, длящейся 15 с, повторял процедуру со значениями на шкале эспандера 25, 50 и 75%. MAV при этом вычислялось для всего интервала времени, в течение которого испытуемый развивал усилие.

Далее каждый испытуемый проходил процедуру нормализации MAV, в ходе которой оператор отмечал с помощью команды SetMin уровень сигнала при расслабленной верхней конечности испытуемого и с помощью команды SetMax — при максимально напряженной конечности (эспандер в данном случае не использовался). После этого нижний полозок группы Proportional control (рис. 2, красная рамка, голубой маркер) начинал двигаться в онлайн-режиме в зависимости от величины регистрируемого MAV. Испытуемому предлагалось, меняя усилие руки, повторить движения протокольного полозка (рис. 2, красный маркер), который был запрограммирован на поочередную демонстрацию значений 75, 25, 100, 50% в течение 5 с для каждого значения. Результаты отображались в виде графика с кривыми, соответствующими заданию (рис. 2, «протокол») и выполнению этого задания с помощью ЭМГ-интер­фейса (рис. 2, «эксперимент»).

В экспериментах по совмещению командного и пропорционального управления испытуемый одновременно с осуществлением одного из шести статичных жестов должен был выполнять вышеописанное задание по пропорциональному управлению. В данном случае при построении графиков отображались только участки кривых, соответствующие правильному распознаванию.

Для оценки работоспособности предлагаемой концепции управления использовался мобильный робот, собранный из набора LEGO NXT Mindstorms (LEGO, Дания). В онлайн-режиме с частотой 10 Гц программа транслировала с помощью беспроводного Bluetooth-интерфейса команду, соответствующую рас­познанному жесту. При этом скорость выполнения команды определялась значением, вырабатываемым блоком пропорционального управления.

Результаты. Данные предварительного исследования показали, что в значительном диапазоне значение MAV ЭМГ-сигнала, регистрируемое в районе мышц-сгибателей предплечья, демонстрирует линейную зависимость от прилагаемого усилия (рис. 3). Такой характер зависимости позволяет использовать регистрируемый ЭМГ-сигнал для пропорционального управления, при котором управляемая величина зависит от амплитуды сигнала и, соответственно, от степени напряжения мышц.

---

Рис. 3. Зависимость среднего абсолютного значения ЭМГ-сигнала, регистрируемого на мышцах-сгибателях предплечья, от усилия при сжатии кистевого эспандера у 6 испытуемых

---

Так как значение MAV представляет собой усреднение по времени, необходимо было прежде всего выяснить, как влияет на качество управления размер окна усреднения или обратно пропорциональная ему величина коэффициента α (уравнение 4). Полученные результаты (рис. 4) говорят о том, что при выполнении задания от α зависят время выхода регулируемой величины на квазистационарное значение и степень вариабельности этого значения. Так, при α=0,001 среднее время выхода на стационар у 10 испытуемых составляло 2,7 с, при α=0,003 — 1,5 с, при α=0,009 — 0,9 с. Вариабельность оценивали с помощью величины стандартного отклонения MAV, считая от момента выхода на квазистационарное значение. Его величина составила соответственно 1,4; 2,9 и 6,7%. Субъективно испытуемые отмечали, что при значении α=0,001 регулируемая величина менялась с бόльшим запаздыванием, а при α=0,009 сложности вызывало ее удержание на определенном уровне. Исходя из этого для дальнейших исследований использовалось значение α=0,003.

---

Рис. 4. Выполнение задания, в ходе которого испытуемому необходимо достичь и удержать в течение 5 с значения регулируемой величины 75, 25, 100, 50%. Кривая «протокол» — эталон задания, кривые α — нормированные значения MAV ЭМГ-сигнала при разных значениях коэффициента окна усреднения

---

Для настройки системы распознавания ЭМГ-паттернов провели исследование с целью определения оптимальных параметров в контексте точности классификации и времени, затраченного на машинное обучение. Тестировали три вида классификатора — линейный классификатор, однослойный персептрон и многослойная нейронная сеть с алгоритмом обратного распространения ошибки. Варьировали число слоев и формальных нейронов в случае многослойной сети. Меняли значение скорости обучения, а также количест­во жестов. По результатам исследования в качестве оптимального классификатора выбрана двухслойная нейронная сеть с алгоритмом обратного распространения ошибки с количеством нейронов 9+7. Значение скорости обучения — 0,01. Число жестов было уменьшено с первоначальных 9 до 7, при этом для дальнейшей работы по совмещенному командно-пропорциональному управлению использовали 6 жестов (седьмой жест — расслабленная рука — использовать для этого было невозможно). Результаты работы системы распознавания с найденными параметрами для разных испытуемых представлены в таблице.

---

Точность классификации системы распознавания ЭМГ-паттернов, генерируемых при выполнении 7 статичных жестов

---

В ходе работы было опробовано четыре схемы совмещения командного и пропорционального управ­ления.

В наиболее простой схеме 1 пропорциональное управление осуществлялось независимо от командного, для чего применялось два миобраслета. На основе восьми электродов, расположенных на одной верхней конечности, производилась классификация ЭМГ-паттернов, а один из электродов второго браслета на другой конечности использовался для пропорционального управления. В данной схеме достигалась максимальная точность классификации и пропорционального управления, что можно оценить визуально (рис. 5). При управлении роботом пользователи не испытывали сложности ни в переключении и удержании режимов с помощью статичных жестов одной конечности, ни в задании скорости мобильного робота с помощью разной степени напряжения мышц предплечья другой руки. Однако данная схема имеет два существенных недостатка — необходимо использовать дополнительный миобраслет и в ходе управления заняты обе конечности, что в случае управления, например, экзоскелетом может оказаться неприемлемым.

---

Рис. 5. Выполнение задания по совмещенному командно-пропорциональному управлению — схема 1 (использование независимых каналов для командного и пропорционального управления). Кривая «протокол» — эталон задания, кривые «жест» — нормированные значения MAV ЭМГ-сигнала при выполнении задания с соответствующим жестом. Пропуски кривых — моменты ошибочного распознавания ЭМГ-паттерна

---

В остальных схемах управление осуществлялось с помощью одного миобраслета. В схеме 2 для классификации использовалось 7 электродов, а 8-й — для пропорционального управления. При выполнении жестов испытуемый сжимал эспандер (или кулак) с различной силой. Данная схема оказалась неработо­способной, так как в этом случае происходило выполнение одновременно двух моторных паттернов, один из которых соответствовал выполняемому жесту, а другой — сжатию кисти в кулак с различным усилием. Это приводило к тому, что даже при 50% усилии доля ошибок классификатора возрастала до неприемлемых 30–40%.

В схеме 3 все 8 электродов использовались для классификации. Для пропорционального управления в каждый момент времени выбиралось MAV того канала, вклад которого был максимален в классифицируемый в этот момент жест. Испытуемый мог выполнять статичные жесты с разным усилием, это не оказывало существенного влияния на работу классификатора, но позволяло получать величину MAV, градуально зависящую от усилия (рис. 6). Данная схема оказалась работоспособной в экспериментах с онлайн-управлением роботом, но вычисляемая таким образом величина MAV отличалась сильными скачкообразными изменениями, что приводило к сложностям в установке скорости мобильного робота. Попытки увеличения временнóго окна, по которому проводилось усреднение MAV (уменьшение α), приводили к сглаживанию скачков, но значительно увеличивали задержки времени реагирования системы.

---

Рис. 6. Выполнение задания по совмещенному командно-пропорциональному управлению — схе­ма 3 (использование для пропорционального управления канала с максимальным вкладом активности в ЭМГ-паттерн). Кривая «протокол» — эталон задания, кривые «жест» — нормированные значения MAV ЭМГ-сигнала при выполнении задания с соответствующим жестом. Пропуски кривых — моменты ошибочного распознавания ЭМГ-паттерна

---

Схема 4 отличалась от предыдущего варианта тем, что для получения величины, градуально зависящей от усилия, использовались все 8 каналов — в качестве этой величины бралось среднее арифметическое значений MAV всех каналов. Усреднение по всем каналам привело к сглаживанию скачков, не увеличив при этом времени реагирования системы (рис. 7). В результате испытуемый мог достаточно плавно менять значение управляемой величины и, соответственно, скорость устройства в экспериментах с онлайн-управлением роботом. Субъективно управлять роботом с помощью одной конечности оказалось несколько сложнее, чем двумя (как это было предложено в схеме 1), однако все пользователи после 3–5-минутной тренировки были способны подавать роботу любую из 6 команд с одновременным контролем скорости мобильного робота.

---

Рис. 7. Выполнение задания по совмещенному командно-пропорциональному управлению — схема 4 (использование для пропорционального управления средней величины MAV всех каналов). Кривая «протокол» — эталон задания, кривые «жест» — нормированные значения MAV ЭМГ-сигнала при выполнении задания с соответствующим жестом. Пропуски кривых — моменты ошибочного распознавания ЭМГ-паттерна

---

Обсуждение. Развитие высокоинтеллектуальных роботизированных устройств неизбежно ведет к революционным изменениям медицинских технологий. В частности, последнее десятилетие ознаменовано широким распространением роботизированных систем в области технических устройств, заменяющих утраченные конечности, и средств реабилитации пациентов с нарушениями опорно-двигательного аппарата.

Наиболее продвинутые устройства предполагают использование биоинформационных индикаторов для эффективной коммуникации с пользователем. В случаях, когда спинномозговая проводимость сигналов головного мозга нарушена частично или осталась неизмененной, в качестве подобного индикатора принято рассматривать миоэлектрическую активность целевых групп мышц.

На сегодняшний день существуют две стратегии управления роботизированными устройствами, основанные на использовании нейромышечных сигналов, одна из которых ориентирована на выделение некоторых заранее определенных типов движений, в то время как другая анализирует интенсивность мышечных сокращений.

В данной работе впервые была предпринята попытка разработать гибридный классификатор электромиографической активности, сочетающий в себе возможности классического бинарного интерпретатора нейромышечных сигналов (в некоторый фиксированный «алфавит» — набор команд, понятных исполнительному устройству) и пропорционального транслятора, позволяющего варьировать степень активации исполнительного устройства.

Среди четырех рассмотренных схем совмещения командного и пропорционального управления наиболее оптимальной оказалась схема 4 — она позволила обойтись одним миобраслетом и использовать для управления одну конечность, при этом демонстрируя хорошую точность классификации и пропорциональное управление. В качестве замеченного недостатка данной схемы можно указать на сложности, возникшие у части испытуемых при использовании определенных жестов, например супинации. На иллюстрации (жест 6 на рис. 7) это выглядит как бόльшая изрезанность соответствующей кривой. Очевидно, что это связано с локализацией мышц, обеспечивающих выполнение этих жестов, по отношению к регистрируемым электродам. Например, в осуществлении супинации большую роль играет сокращение бицепса руки, которое невозможно регистрировать без дополнительного электрода. Преодолеть этот недостаток можно путем индивидуального выбора жестов или с помощью нормализации суммарного MAV в зависимости от распознаваемого паттерна, что планируется реализовать в будущих исследованиях.

Ярким примером, иллюстрирующим преимущества предложенной концепции гибридной классификации, может служить случай управления работой антропоморфного роботизированного манипулятора (например, протез кисти руки), когда в результате работы алгоритма определяется не только тип выполняемого движения, например сжатие пальцев, но и сила, с которой оно происходит.

Кроме того, включение модуля анализа миоэлектрической активности в контур управления позволяет активизировать биологическую обратную связь, что в свою очередь выведет степень интеграции исполнительного устройства и оператора на качественно новый уровень. Вместе с этим активация механизмов пластичности мозга способствует восстановлению утраченных двигательных функций, что явилось следст­вием неврологических заболеваний и травм головного мозга. Сочетание механизмов биологической обратной связи с распространенными подходами афферентной стимуляции (в результате периодического повторения некоторого фиксированного репертуара движений) придает мультипликативный эффект реабилитационной терапии.

Таким образом, преимущества предложенного гибридного алгоритма управления позволят расширить функциональные возможности и эффективность реабилитационных роботизированных комплексов (в част­ности, экзоскелетов нижних конечностей).

Заключение. Предложено новое программно-аппаратное решение для управления медицинскими роботизированными устройст­вами, особенностью которого является совмещение командного и пропорционального управления на основе сигналов нейромышечной активности. В ходе проведенных исследований выявлены оптимальные параметры в контексте точности системы командной классификации, а также скорости и точности пропорционального управления. Кроме того, предложено несколько вариантов схемы совмещения командного и пропорционального управления и проанализирована их эффективность.

Финансирование исследования. Работа выполнена при поддержке Министерства образования и науки РФ в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы», соглашение о предоставлении субсидии №14.581.21.0011 от 01.12.2014 г. (уникальный идентификатор проекта RFMEFI58114X0011).

Конфликт интересов. У авторов нет конфликта интересов.