Разработка нейроуправляемого автомобиля для мобилизации людей с двигательным дефицитом — нейромобиля
Цель исследования — разработка транспортного средства с элементами нейроуправления для маломобильной категории граждан и апробация алгоритмов интерпретации сигналов биоэлектрической активности человека для управления автомобилем.
Результаты. Создан ходовой макет первого городского электромобиля (нейромобиля) с элементами нейроуправления и нейроассистирования, который предназначен для лиц с двигательным дефицитом и пожилых людей. Нейромобиль представляет собой оригинальную компоновку кузова и приводов в виде асинхронных мотор-колес, которая обеспечивает самостоятельную погрузку пилота на инвалидной коляске с возможностью размещения сопровождающего лица (пассажира). Он оснащен системой ассистирования пилоту — комплексом технического зрения, который более надежно оценивает дорожную обстановку (за счет интеграции разного типа данных) и рекомендательным образом планирует траекторию движения автомобиля. Результатом функционирования этой системы является рекомендуемый для водителя набор возможных сценариев движения (например, «перестроение в другую полосу», «движение в текущей полосе», «поворот» и др.), представляемых пилоту аудиовизуальными средствами информирования. Другой компонент нейромобиля — система нейроуправления, осуществляющая анализ сигналов различной модальности, включая электроэнцефалограмму головного мозга (интерфейс мозг–компьютер) и электромиографические сигналы (нейромышечный интерфейс). Она формирует намерение пилота следовать по одному из предложенных вариантов движения. Обобщенное решение электронных систем ассистирования пилоту и нейроинтерфейсных средств передается системе управления приводными компонентами (мотор-колесо, руль, тормоза и т.д.) для итоговой отработки выбранного варианта движения. Таким образом, разрабатываемый нейромобиль позволит существенно расширить круг пациентов с поражениями двигательной системы, которые могут стать полноправными участниками дорожного движения.
Введение
Потеря возможности самостоятельного передвижения, возникающая в результате ряда заболеваний, дорожно-транспортных происшествий, операций, является одной из важных медико-социальных проблем и касается многих миллионов людей. Согласно данным Федеральной государственной информационной системы «Федеральный реестр инвалидов», на 1 января 2018 г. в России официально состоит на учете 12 млн. 111 тыс. инвалидов. В структуре основных видов стойких нарушений функций организма человека нарушения нейромышечных, скелетных и связанных с движением (статодинамических) функций занимают ведущее место. Количество лиц, впервые признанных инвалидами по данному виду нарушений, в 2017 г. составило 167 618 человек.
Согласно принятой классификации основных видов стойких расстройств функций организма (приказ Министерства труда и соцзащиты РФ от 17 декабря 2015 г. №1024н), выраженные нарушения статодинамических функций могут наблюдаться у инвалидов вследствие 15 групп заболеваний. Наиболее весомый вклад в общую статистику нарушений вносится поражениями центральной нервной системы из-за позвоночно-спинномозговой травмы, опухолей и сосудистых катастроф спинного мозга, новообразований и сосудистых заболеваний головного мозга, демиелинизирующих заболеваний. В большинстве случаев к инвалидности приводят травмы позвоночника, и каждый год число инвалидов по причине спинномозговых травм растет.
Согласно Международной классификации функционирования, ограничений жизнедеятельности и здоровья (МКФ, 2001 г.) одним из ведущих видов активности, составляющих качество повседневной жизни человека, является мобильность. Понятие «мобильности» очень многогранно, оно включает в себя 4 основных раздела: «изменение и поддержание положения тела», «перенос, перемещение и манипулирование объектами», «ходьба и передвижение», «передвижение с использованием транспорта». Во всем мире люди с ограниченной мобильностью демонстрируют более низкие показатели здоровья, более низкие достижения в области образования, меньшую экономическую активность и более высокие показатели бедности в сравнении со здоровыми людьми. Это обусловлено возникновением барьеров доступа к услугам, которые для многих из нас являются привычными, такими как здравоохранение, образование, занятость и транспорт.
Вследствие этого социальная защита инвалидов и их реабилитация входят в ряд важнейших проблем, стоящих перед государством в настоящее время.
На данный момент класс изделий, предназначенных для повышения мобильности инвалидов с расстройством статодинамических функций, представлен инвалидными колясками (креслами-колясками). Существует множество вариаций инвалидных колясок, предусматривающих движение за счет мышечной силы, электрической энергии или других альтернативных источников, однако все они представляют собой весьма ограниченные средства мобилизации.
Анализ существующих на российском рынке технических средств реабилитации показал, что они обеспечивают возможность передвижения инвалида только в пределах тех или иных помещений: личные апартаменты, дом и другие объекты жилого характера, лечебные учреждения (больницы, санатории и др.), образовательные организации, а также предприятия сферы услуг и общего назначения. Такие технические средства не снимают проблему мобильности инвалидов, поскольку перемещение за пределами зданий остается затруднительным. Проблема интеграции маломобильных групп населения, принципиального улучшения качества жизни этой категории граждан требует комплексного решения, предусматривающего возможность относительно длительных перемещений.
Решением в сложившейся ситуации может стать разработка специализированных индивидуальных транспортных средств для перемещения инвалидов по улицам города и для длительных поездок.
Материалы и методы
В Национальном исследовательском Нижегородском государственном университете им. Н.И. Лобачевского ведется разработка нейропилотируемого транспортного средства для маломобильной категории граждан с расстройствами статодинамических функций (наличие двигательного дефицита верхних и нижних конечностей). Данное средство при визуальном сходстве с обыкновенными автомобилями будет оснащено целым комплексом уникальных научно-технических решений как в части конструкции, так и в части системы управления и пилотирования: система управления нейромобилем будет включать активное ассистирование пилотированию и нейроуправлению. Следует отметить, что разрабатываемый нейромобиль представляет собой платформенное решение, где подбор наиболее комфортного нейроинтерфейса для конкретного водителя будет осуществляться индивидуально с учетом его особенностей и типа двигательной дисфункции.
Разрабатываемая система управления берет на себя часть функций человека, выполняя анализ дорожной обстановки, выдавая свои рекомендации (ассистирование), а пилот уже на их основании формирует управляющее воздействие, которое считывается мультимодальным регистратором сигналов головного мозга человека и транслируется в управляющие команды (в том числе относительно направления движения, скоростных параметров и др.) исполнительным механизмам нейромобиля (мотор-колесо, рулевое управление, световая сигнализация, двери, окна, мультимедиа и др.).
Аппаратные и приводные компоненты нейромобиля. Традиционное построение платформ в автомобилестроении, включая электроприводной транспорт, заключается в использовании набора силовых агрегатов, в том числе механизмов передачи крутящего момента (трансмиссия, редукторы), и конструктива для различных моделей транспорта.
В разработке нейромобиля будет использован модульный принцип компоновки (рис. 1). Транспортное средство будет представлять собой капсульный кузов (силовой каркас с синтетическими панелями), закрепленный на универсальной бестрансмиссионной платформе. Ключевым компонентом последней являются электрические асинхронные мотор-колеса (АМК), позволяющие через управляющие воздействия, включая прямое управление водителем, осуществлять управление движением транспортного средства.
|
Рис. 1. Принцип модульного формирования электромобиля:
1 — капсула; 2 — платформа; 3 — асинхронное мотор-колесо |
Неотъемлемым компонентом нейромобиля является комплекс сенсорных устройств для мониторинга дорожной обстановки в сочетании с бортовым компьютером, объединяющим высокоуровневые команды управления транспортным средством с аппаратно-программными компонентами силовой установки и систем торможения, освещения, регулировки климата, контроля заряда батареи и ее зарядки, бортовой электроники.
Представленная компоновка кузова и бестрансмиссионная конструкция привода обеспечивают при малых габаритах нейромобиля вместительное полезное пространство, что позволяет разместить не только пилота на инвалидной коляске и сопровождающее лицо, но и мощный вычислительный блок для работы системы активного ассистирования водителю (с элементами автопилотирования) и системы нейроуправления.
Средства ассистирования пилоту нейромобиля. Для решения задачи создания устройства ассистирования водителю транспортного средства сформулирован набор критически важных датчиков, позволяющих осуществлять мониторинг складывающейся дорожной обстановки с целью последующего информирования водителя. К их числу относятся:
телевизионные камеры, обеспечивающие наиболее полный поток информации о локальном положении транспортного средства на полотне дороги и об особенностях дорожной обстановки вокруг транспортного средства;
тепловизионная камера как средство обнаружения людей и других участников движения в темное время суток, в дождливую погоду и т.п.;
лазерные дальномеры, обеспечивающие высокоточное определение дальности нахождения, скорости движения объектов и позволяющие получить информацию о свободной зоне вблизи транспортного средства;
ультразвуковые датчики, применяемые в качестве основных датчиков системы предотвращения столкновений при низкоскоростных маневрах в стесненных условиях (движение задним ходом, проезд дворов, парковка).
Для комплексирования данных, поступающих с разных типов датчиков обнаружения, система управления нейромобилем использует следующий алгоритм (рис. 2) идентификации объектов дорожной обстановки с целью последующего поиска вариантов движения.
|
Рис. 2. Структура алгоритма сбора и обработки информации о дорожной обстановке:
ИК — фронтальная инфракрасная камера; K — блок камер кругового обзора; Р — блок радаров; СТ — фронтальная стереопара; RW — прямоугольная область обнаруженного и классифицированного объекта дорожной обстановки; СR — результат кластеризации точечных данных с радаров; С3Ds, C2Ds — результат кластеризации трехмерного (при использовании стереопары) облака точек и сопоставление его с положением точек на плоском кадре; Wi — индекс класса распознаваемого объекта |
Для решения задачи обнаружения объектов применяются алгоритмы на основе глубоких нейронных сетей [1], а задачи сопровождения объектов — универсальные алгоритмы [2] и методы на основе оптических потоков.
Система нейроуправления транспортным средством. Входящая в состав разрабатываемого ходового макета нейромобиля система нейроуправления, предназначенная для анализа сигналов мозговой активности, включает следующие модальности: электроэнцефалограмму (ЭЭГ) головного мозга (интерфейс мозг–компьютер, ИМК) и электромиографические (ЭМГ) сигналы (нейромышечный интерфейс). Как уже отмечалось, данный перечень не является закрытым и может модифицироваться в зависимости от потребности каждой категории водителей с учетом типа двигательной дисфункции.
Интерфейс мозг–компьютер. Работа мозга сопровождается генерацией ряда сигналов, которые детектируются различными датчиками и используются для построения ИМК. Наиболее комфортной для пользователя является запись ЭЭГ, так как при этом не требуется инвазивного проникновения в ткань мозга (как в случае имплантируемых в мозг микроэлектродов) и громоздкого дорогостоящего оборудования (как для регистрации магнитоэнцефалограммы или магнитной томограммы) [3, 4]. В рамках реализации макетного решения нейромобиля применялись именно ЭЭГ-сигналы мозга ввиду их практичности и удобства использования [5].
Интерфейс мозг–компьютер, используемый в контуре системы нейропилотирования, реализован на основе технологии моторно-воображаемого типа и состоит из следующих основных блоков: блок регистрации ЭЭГ-сигналов, классификатор ЭЭГ-сигналов и программное обеспечение для передачи команд на автомобиль.
Для регистрации ЭЭГ-сигнала применяется сертифицированный усилитель NVX52 («Медицинские Компьютерные Системы», Россия). Для записи ЭЭГ используются 7 отведений (C5, C3, C1, Cz, C2, C4, C6), размещенных в соответствии с международной схемой 10-10. Референтный электрод располагается на мочке левого уха, электрод заземления — на лбу. Частота оцифровки сигнала составляет 500 Гц. Сопротивление под электродами не превышает 10 кОм. Сигнал фильтруется в диапазоне от 8 до 15 Гц c Notch-фильтром 50 Гц.
В экспериментальных исследованиях участвовали 10 здоровых испытуемых (6 мужчин и 4 женщины) в возрасте от 18 до 23 лет, давших письменное согласие на участие в эксперименте. Исследование одобрено Комиссией по биоэтике Национального исследовательского Нижегородского государственного университета им. Н.И. Лобачевского.
Методика эксперимента по управлению автомобилем с помощью ИМК включает в себя две последовательные сессии: обучающую сессию и сессию управления. Сессия обучения служит для первоначальной настройки классификатора ИМК. В ходе обучения классификатора оператор выполняет одну из трех инструкций: расслабиться при появлении на мониторе изображения «крестика», представить движение левой или правой руки при появлении на мониторе изображения стрелки «влево/вправо». Оператору предлагается выбрать любое движение рукой, комфортное, по его мнению, для воображения. В качестве примеров предлагались «перебор» пальцами и вращение кисти руки в лучезапястном суставе. По инструкции «расслабиться» оператор должен спокойно сидеть, концентрируясь на дыхании. Для каждой инструкции предусмотрено 10 предъявлений, длительность предъявления — 4 с. Межстимульный интервал составляет 3 с (пустой экран). Стимулы предъявляются в случайном порядке. Длительность обучения классификатора — 4 мин. Во время предъявления стимулов ведется запись ЭЭГ при помощи программы NeoRec («Медицинские Компьютерные Системы», Россия), которая передает полученный сигнал по протоколу LSL. Передаваемый сигнал считывается скриптом, написанным на языке Python, который контролирует синхронизацию между предъявлением стимулов и сигналом ЭЭГ.
Нейромышечный интерфейс. Другая модальность, которая может быть сопряжена с сигналами нейросетевой активности и использована в рамках разработки макета нейропилотируемого транспортного средства, — нейромышечная (ЭМГ) активность, сопровождающая любые двигательные акты, совершаемые человеком.
Ввиду высокой информационной емкости данного типа сигналов им в концепции системы нейропилотирования уделено существенное внимание. В более ранних исследованиях [6] нами было показано, что основными факторами, лимитирующими использование ЭМГ-интерфейса, являются анатомические и физиологические особенности пользователей. Поэтому одной из ключевых задач в данной работе стало исследование возможности формирования и улучшения навыка применения ЭМГ-интерфейса управления мобильным объектом.
В качестве объекта управления использовали робот Pioneer 3DX (Adept MobileRobots, США) и виртуальный автомобиль в аркадной компьютерной игре (рис. 3). Испытуемые управляли мобильным объектом с помощью жестов руки.
|
Рис. 3. Схема эксперимента по обучению людей навыку использования ЭМГ-интерфейса при управлении мобильным объектом: а — управление реальным мобильным роботом Pioneer 3DX; б — пример управляющего жеста «влево», в качестве которого выбрано сгибание запястья; красным выделены мышцы, ЭМГ-сигнал с которых имеет максимальную амплитуду при совершении данного жеста; в — пример управления мобильным виртуальным объектом в компьютерной игре |
Регистрация ЭМГ-сигналов производилась с помощью миобраслета MYO (Thalmic Labs, Канада) с 8 электродами, расположенными по кольцу вокруг предплечья руки (рис. 3, б). Связь между браслетом и компьютером, на котором выполнялась обработка ЭМГ-сигналов, осуществляется по беспроводному Bluetooth-интерфейсу. Для оценки степени мышечного усилия используется среднее абсолютное значение сигнала MAV (англ. mean absolute value) [7]. Классификация ЭМГ-паттернов производилась с помощью искусственной нейронной сети, представляющей собой многослойный персептрон. В качестве входного сигнала сети использовалось среднее квадратичное значение ЭМГ-сигнала — RMS (англ. root mean square), рассчитываемое для каждого канала. Интервал усреднения включал в себя 100 значений. ЭМГ-управление виртуальным объектом в компьютерной игре реализовывалось в рамках приложения MyoCursor [8].
В исследовании принимали участие 18 человек в возрасте от 20 до 40 лет. Все испытуемые дали письменное согласие. Участники были поделены на две группы, одна из которых управляла реальным роботом, а другая — виртуальным объектом. Тренировки проводились через день в течение двух недель. Испытуемые выполняли серию основных и промежуточных жестов, при этом для настройки классификатора и оценки его точности производилась регистрация ЭМГ-паттернов. Каждый жест выполнялся в течение 3 с и чередовался с таким же по длительности интервалом расслабления. Серия жестов повторялась 4 раза. После процедуры обучения классификатора выполняли основное задание на время. Полученные данные (время и ошибка классификации) по каждому тренировочному дню нормировались к первому дню для каждого пользователя индивидуально. Затем нормированные данные усреднялись по всем пользователям.
Результаты
Аппаратные и приводные компоненты. Важным результатом в реализации задачи проектирования аппаратных компонентов явилась разработка АМК, которые, как отмечалось, составляют основу бестрансмиссионной платформы нейромобиля.
Разработку конструкции АМК проводили с учетом особенностей эксплуатации создаваемого объекта. Так, отдельное внимание уделялось необходимости формирования технического решения, обеспечивающего легкость (без дополнительных манипуляций с основной конструкцией мотор-колеса) сервисного обслуживания и смены колес в случае выхода из строя шины колеса транспортного средства.
Итоговый вариант конструкции АМК представлен в виде 3D-модели (рис. 4).
|
Рис. 4. Конструктивное решение для асинхронного мотор-колеса из состава приводной системы ходового макета нейромобиля |
Для соблюдения требований безопасности конструкции АМК проектное решение обеспечивает дублирование системы торможения. Иными словами, система торможения является двухконтурной: электромагнитная и гидравлическая. При начале торможения АМК входит в режим рекуперации, т.е. происходит рекуперативное торможение. Контроллер, считывая показания с сенсоров АМК (с диска энкодера и инкрементального датчика), управляет режимом торможения и зарядкой батарей электропитания. В случае экстренного торможения или необходимости торможения на малых оборотах для полной остановки выполняется переход из условий рекуперативного торможения в условия торможения противовключением, при этом задействуется гидравлическая система торможения. При поломке электрической части системы торможения мотор-колеса, т.е. при отсутствии возможности торможения магнитным полем, система торможения работает на гидравлическом тормозе.
Средства ассистирования пилоту нейромобиля. Предложенный алгоритм (см. рис. 2) исследовали в ряде экспериментов с использованием реальных данных. Решалась задача обнаружения знаков дорожного движения. С этой целью были проведены следующие эксперименты с различным числом классов в выборке:
1) 1 класс: «пешеходный переход» (индекс 5.19.1 в соответствии с правилами дорожного движения — ПДД);
2) 2 класса: «пешеходный переход», «главная дорога» (5.19.1; 2.1 в соответствии с ПДД);
3) 3 класса: «пешеходный переход», «главная дорога», «знак» (5.19.1; 2.1); термином «знак» в выборке обозначались все остальные классы;
4) 1 класс: «знак».
Результаты представлены в табл. 1.
|
Таблица 1. Сводная таблица результатов экспериментов |
Как видно из таблицы, средняя точность по «узким» классам 5.19.1 («пешеходный переход») и 2.1 («главная дорога») довольно высока, в то время как по суперклассу «знак» она не превышает 85%. В эксперименте 3 с выборкой, содержащей и «узкие» классы, и суперкласс, средняя точность по всем классам ниже, чем в эксперименте 2 без суперкласса — именно из-за влияния на общий результат точности по суперклассу. При этом точность по «узким» классам не претерпела значительных изменений.
Система нейроуправления транспортным средством
Интерфейс мозг-компьютер. Анализ сигналов ЭЭГ-активности проводили классификатором, построенным на основе линейного дискриминантного анализа, который использует для классификации признаки, выделенные при помощи пространственной фильтрации методом CSP [9] попарно для всех типов команд.
После обучения классификатора оператор мог приступать к управлению внешним устройством, в качестве которого выступал нейромобиль. Оператору для управления предлагалось по своему усмотрению последовательно выбирать одну из трех команд (представление движения левой или правой рукой и покой). Каждые 2 с классификатор анализировал запись ЭЭГ, делал заключение и передавал команду, которую выбрал оператор, на внешнее устройство.
По результатам работы оператора рассчитывалась средняя точность его управления с помощью данного ИМК как отношение общего числа правильно введенных команд к общему числу попыток. Оператору в каждой сессии предоставлялось 10 попыток для каждой команды. В результате тестирования на 10 добровольцах средняя точность управления в разработанном моторно-воображаемом ИМК для трех команд составляет в трех сессиях в среднем 72%. При этом интересно отметить, что индивидуальные результаты по показателю точности при тестировании классификатора хорошо предсказывают (коэффициент корреляции = 0,8) последующие оценки точности управления автомобилем. Отметим также, что часть испытуемых (около трети) уверенно достигали достаточно высокой точности (90% и выше).
Нейромышечный интерфейс. На рис. 5 представлены результаты двухнедельных тренировок 18 испытуемых по ЭМГ-управлению. И в случае использования робота в реальных условиях, и в случае виртуального объекта в условиях компьютерной игры можно наблюдать постепенное уменьшение времени выполнения тестов. В среднем к концу тренировочного периода время прохождения теста «змейка» роботом Pioneer 3DX сократилось на 60%, а игрового теста — на 50%. Для обоих случаев в наблюдаемом интервале зависимость времени от тренировочного дня имеет четко выраженный линейный характер, свидетельствующий о том, что улучшение показателей происходит последовательно от одного тренировочного дня к другому. Тренировочный эффект нельзя объяснить изменениями «качества» ЭМГ-паттернов, что подтверждается и данными по ошибке классификации. Ее средние значения в первый тренировочный день немного выше, чем в последующие, однако данное различие не является статистически значимым. Это доказывает, что сокращение тестового времени достигалось не за счет изменений в выполнении статичных жестов, используемых для настройки классификатора, а за счет другого фактора.
Результаты сравнения траекторий управляемого виртуального объекта в первый и последний тренировочные дни (рис. 6) позволили выявить фактор, опосредующий тренировочный эффект. На характерном примере (рис. 6, а) видно, что в первый день траектория объекта имеет зигзагообразный характер, что говорит о наличии ЭМГ-паттернов и, соответственно, управляющих жестов (движений), некорректных в контексте текущего задания. С течением тренировки можно наблюдать сокращение количества таких некорректных движений, что ведет к оптимизации траекторий. На рис. 6, б показаны доли оптимальных и некорректных жестов, усредненные по всем испытуемым в задании с виртуальным объектом. Доля всех некорректных жестов после тренировки уменьшилась (статистически значимо для жестов команд «вниз» и «влево»), а доля всех оптимальных — увеличилась (статистически значимо для жестов команд «влево» и «вправо»).
Полученные результаты говорят о том, что кратковременное обучение приводит к улучшению четкости выполнения движений, управляющих мобильным объектом в динамически меняющихся условиях.
Обсуждение
Разработка уникальной конструкции кузова и бестрансмиссионного привода на основе АМК позволяет решить несколько проблем построения городского автомобиля для инвалидов. Во-первых, при малых габаритах нейромобиль имеет внушительное пространство для размещения водителя на инвалидной коляске, сопровождающего лица — пассажира, аккумуляторов и мощного вычислительного комплекса. Во-вторых, система управления исполнительными механизмами нейромобиля, включая мотор-колеса, полностью интегрируется с системой активного ассистирования и нейроуправления.
Разработанная система нейропилотирования позволяет использовать ее в режиме медленного (городского) движения. Показана результативность управления мобильным объектом сигналами разной модальности (иными словами, в эксперименте по классификации ЭЭГ-сигналов не принималась во внимание ЭМГ-активность и наоборот). Дальнейшая работа в данном направлении предполагает проведение исследования эффективности алгоритмов в случае одновременного анализа сигналов нескольких модальностей.
Разработана система обучения нейроуправлению с помощью виртуального симулятора нейромобиля. Время обучения составляет несколько месяцев в зависимости от индивидуальных особенностей двигательной дисфункции.
Технические характеристики автомобиля не уступают зарубежным аналогам (табл. 2). Появление такого нейромобиля позволит вывести на качественно новый уровень социальную реабилитацию инвалидов и людей с двигательными дисфункциями, обеспечивая им возможность самостоятельного комфортного передвижения в городской среде.
|
Таблица 2. Основные технические характеристики нейромобиля в сравнении с зарубежными аналогами |
Заключение
Представлены результаты разработки городского автомобиля (нейромобиля) для самостоятельного использования людьми с двигательными дисфункциями (инвалиды-колясочники, пожилые люди). Автомобиль снабжен системой активного ассистирования водителю на основе системы технического зрения и интерфейсом нейроуправления, включающим в базовой версии интерфейс мозг–компьютер и нейромышечный интерфейс.
Финансирование исследования. Работа выполнена при поддержке Министерства образования и науки РФ в рамках Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы». Соглашение о предоставлении субсидии №14.581.21.0022 от 03.10.2017 г. (уникальный идентификатор проекта RFMEFI58117X0022).
Конфликт интересов. У авторов нет конфликта интересов.
Литература
- Орлова С.Р., Бахшиев А.В. Распознавание дорожных знаков на базе глубоких нейронных сетей. В кн.: Экстремальная робототехника и конверсионные тенденции. СПб; 2018; с. 451–459.
- Nebehay G. Robust object tracking based on tracking-learning-detection [dissertation]. TU Wien; 2012.
- Lebedev M.A., Nicolelis M.A. Brain-machine interfaces: past, present and future. Trends Neurosci 2006; 29(9): 536–546, https://doi.org/10.1016/j.tins.2006.07.004.
- McFarland D.J., Wolpaw J.R. Brain-computer interfaces for communication and control. Commun ACM 2011; 54(5): 60–66, https://doi.org/10.1145/1941487.1941506.
- Gordleeva S.Yu., Lukoyanov M.V., Mineev S.A., Khoruzhko M.A., Mironov V.I., Kaplan A.Ya., Kazantsev V.B. Exoskeleton control system based on motor-imaginary brain–computer interface. Sovremennye tehnologii v medicine 2017; 9(3): 31–38, https://doi.org/10.17691/stm2017.9.3.04.
- Lobov S., Krilova N., Kastalskiy I., Kazantsev V., Makarov V.A. Latent factors limiting the performance of sEMG-interfaces. Sensors 2018; 18(4): 1122, https://doi.org/10.3390/s18041122.
- Lobov S.А., Mironov V.I., Kastalskiy I.А., Kazantsev V.B. Combined use of command-proportional control of external robotic devices based on electromyography signals. Sovremennye tehnologii v medicine 2015; 7(4): 30–38, https://doi.org/10.17691/stm2015.7.4.04.
- Lobov S., Krilova N., Kastalskiy, I., Kazantsev V., Makarov V. A human-computer interface based on electromyography command-proportional control. In: Proceedings of the 4th International Congress on Neurotechnology, Electronics and Informatics — Volume 1: NEUROTECHNIX. Portugal; 2016; p. 57–64, https://doi.org/10.5220/0006033300570064.
- Koles Z.J., Lazar M.S., Zhou S.Z. Spatial patterns underlying population differences in the background EEG. Brain Topogr 1990; 2(4): 275–284, https://doi.org/10.1007/bf01129656.
