Архитектура системы управления для инвалидной коляски: на пути к многофункциональному роботу с нейробиологическими интерфейсами

Целью исследования явилось создание системы управления роботизированной коляски с расширяемым пользовательским интерфейсом для лиц с различными функциональными расстройствами.

Обсуждаются различные подходы к созданию роботизированной коляски для людей с ограниченными возможностями. Выбранный метод основан на когнитивном мультимодальном интерфейсе, повышающем автономность пользователя и позволяющем ему отдавать команды верхнего уровня управления. Для стратегического контроля могут использоваться такие средства, как ручное и голосовое управление, слежение за взглядом, мозго-машинный интерфейс, в то время как низко­уровневые операции выполняются интеллектуальной автономной системой управления. Семиотическая модель мира робота обрабатывает данные с сенсоров коляски и планирует ее действия в виде последовательности высокоуровневых задач (поведений) для системы управления.

Предложена архитектура программного и аппаратного обеспечения для роботизированной коляски и средств взаимодействия с пользователем через мультимодальный интерфейс. Поддерживаются несколько видов обратной связи, в том числе голосовые сообщения, вывод на экран, световые и тактильные сигналы.

В работе описаны некоторые новые решения, прошедшие апробацию на реальных робототехнических устройствах. Набор сенсорных устройств: дальномеры, камера, энкодеры — обеспечивает безопасность движения прототипа коляски и позволяет распознавать объекты и сцены. Опасное поведение робота блокируется встроенными рефлексами, поддерживается использование дополнительных процедур обеспечения безопасности системой планирования.

Разработанная архитектура позволяет применять для управления пользовательские интерфейсы, которые слишком медленны для традиционных типов автоматизации управления инвалидной коляской. Чтобы добиться требуемых точности и надежности, время обработки сигналов от голосового интерфейса, а также от интерфейсов «глаз–мозг–компьютер» и устройство отслеживания взгляда, увеличено. Снижение скорости отдачи команд компенсируется изменением их характера, потому что высокоуровневые команды управления требуется отдавать реже низкоуровневых. В перспективе это позволяет использовать в подобных системах управления и другие средства считывания параметров физиологических систем, например мозго-машинные интерфейсы и системы отслеживания взгляда, для непрямого управления мобильной техникой и других видов взаимодействия с ней.

1. World Health Organization. The world report on disability. 2011.
2. Report of a consensus conference on wheelchairs for developing countries. Edited by Sheldon S., Jacobs N.A. Bengaluru, India; 2006.
3. Shin J., Kwon J., Choi J., Im C.-H. Performance enhancement of a brain–computer interface using high-density multi-distance NIRS. Sci Rep 2017; 7(1): 16545, https://doi.org/10.1038/s41598-017-16639-0.
4. Na’aman E., Shashua A., Wexler Y. User wearable visual assistance system. Patent US 2012/0212593 A1. 2012.
5. Clark J.A., Roemer R.B. Voice controlled wheelchair. Arch Phys Med Rehabil 1977; 58(4): 169–175.
6. Nishimori M., Saitoh T., Konishi R. Voice controlled intelligent wheelchair. In: SICE annual conference. IEEE; 2007, p. 336–340, https://doi.org/10.1109/sice.2007.4421003.
7. Tamura H., Manabe T., Goto T., Yamashita Y., Tanno K. A study of the electric wheelchair hands-free safety control system using the surface-electromygram of facial muscles. In: Liu H., Ding H., Xiong Z., Zhu X. (editors). Intelligent robotics and applications. ICIRA 2010. Lecture Notes in Computer Science. Springer, Berlin, Heidelberg; 2010; p. 97–104, https://doi.org/10.1007/978-3-642-16587-0_10.
8. Kim K.-H., Kim H.K., Kim J.-S., Son W., Lee S.-Y. A biosignal-based human interface controlling a power-wheelchair for people with motor disabilities. ETRI Journal 2006; 28(1): 111–114, https://doi.org/10.4218/etrij.06.0205.0069.
9. Yulianto E., Indrato T.B., Suharyati. The design of electrical wheelchairs with electromyography signal controller for people with paralysis. Electrical and Electronic Engineering 2018; 8(1): 1–9.
10. Hardiansyah R., Ainurrohmah A., Aniroh Y., Tyas F.H. The electric wheelchair control using electromyography sensor of arm muscle. Int Conf Inf Commun Technol Syst 2016; 2016: 129–134, https://doi.org/10.1109/icts.2016.7910286.
11. Jacob R.J.K. The use of eye movements in human-computer interaction techniques: what you look at is what you get. ACM Trans Inf Syst 1991; 9(2): 152–169, https://doi.org/10.1145/123078.128728.
12. Fedorova A.A., Shishkin S.L., Nuzhdin Y.O., Velichkovsky B.M. Gaze based robot control: the communicative approach. In: 7th International IEEE/EMBS conference on neural engineering (NER). IEEE; 2015; p. 751–754, https://doi.org/10.1109/ner.2015.7146732.
13. Ingram R. Eye-tracking wheelchair developed by DoC researchers featured in Reuters video. 2014. URL: http://www.imperial.ac.uk/news/152966/eye-tracking-wheelchair-developed-doc-researchers-featured.
14. Velichkovsky B.M. Communicating attention: gaze position transfer in cooperative problem solving. Pragmatics & Cognition 1995; 3(2): 199–223, https://doi.org/10.1075/pc.3.2.02vel.
15. Ben Taher F., Ben Amor N., Jallouli M. EEG control of an electric wheelchair for disabled persons. International Conference on Individual and Collective Behaviors in Robotics 2013; 2013: 27–32, https://doi.org/10.1109/icbr.2013.6729275.
16. Swee S.K., Teck Kiang K.D., You L.Z. EEG controlled wheelchair. MATEC Web of Conferences 2016; 51: 02011, https://doi.org/10.1051/matecconf/20165102011.
17. Rebsamen B., Guan C., Zhang H., Wang C., Teo C., Ang M.H. Jr., Burdet E. A brain controlled wheelchair to navigate in familiar environments. IEEE Trans Neural Syst Rehabil Eng 2010; 18(6): 590–598, https://doi.org/10.1109/tnsre.2010.2049862.
18. Naseer N., Hong K.-S. fNIRS-based brain-computer interfaces: a review. Front Hum Neurosci 2015; 9: 3, https://doi.org/10.3389/fnhum.2015.00003.
19. Frisoli A., Loconsole C., Leonardis D., Banno F., Barsotti M., Chisari C., Bergamasco M. A new gaze-BCI-driven control of an upper limb exoskeleton for rehabilitation in real-world tasks. IEEE Transactions on Systems, Man, and Cybernetics, Part C 2012; 42(6): 1169–1179, https://doi.org/10.1109/tsmcc.2012.2226444.
20. Осипов Г.С., Панов А.И., Чудова Н.В., Кузне­цова Ю.М. Знаковая картина мира субъекта поведения. М: Физматлит; 2018.
21. Saxena A., Jain A., Sener O., Jami A., Misra D.K., Koppula H.S. RoboBrain: large-scale knowledge engine for robots. 2014. URL: https://arxiv.org/abs/1412.0691v2.
22. Skarzynski K., Stepniak M., Bartyna W., Ambroszkiewicz S. SO-MRS: a multi-robot system architecture based on the SOA paradigm and ontology. Lecture Notes in Computer Science 2018; 10965: 330–342, https://doi.org/10.1007/978-3-319-96728-8_28.
23. Fikes R.E., Nilsson N.J. Strips: a new approach to the application of theorem proving to problem solving. Artificial Intelligence 1971; 2(3–4): 189–208, https://doi.org/10.1016/0004-3702(71)90010-5.
24. Киселев Г.А., Панов А.И. STRIPS постановка задачи планирования поведения в знаковой картине мира. В кн.: Информатика, управление и системный анализ. Тверь; 2016; с. 131–138.
25. Karpov V. The parasitic manipulation of an animat’s behavior. Biologically Inspired Cognitive Architectures 2017; 21: 67–74, https://doi.org/10.1016/j.bica.2017.05.002.
26. Sutton R.S., Barto A.G. Reinforcement learning: an introduction. IEEE Transactions on Neural Networks 1998; 9(5): 1054–1054, https://doi.org/10.1109/tnn.1998.712192.
27. Narin’yani A.S., Borde S.B., Ivanov D.A. Subdefinite mathematics and novel scheduling technology. Artificial Intelligence in Engineering 1997; 11(1): 5–14, https://doi.org/10.1016/0954-1810(96)00015-5.
28. Московский А.Д. Метод распознавания сцен на основе недоопределенных моделей. В кн.: Шестнадцатая национальная конференция по искусственному интеллекту с международным участием КИИ-2018 (24–27 сентября 2018 г., Москва, Россия). Том 2. М: НИУ ВШЭ; 2018; с. 27–34.
29. Московский А.Д. Об одном методе распознавания объектов с не полностью определенными признаками. В кн.: Третий Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта» (БТС-ИИ-2016, 22–23 сентября 2016 г., Иннополис, Республика Татарстан, Россия). М: Из-во «Перо»; 2016; c. 137–146.
30. Karpov V., Migalev A., Moscowsky A., Rovbo M., Vorobiev V. Multi-robot exploration and mapping based on the subdefinite models. In: Ronzhin A., Rigol G., Meshcheryakov R. (editors). Interactive collaborative robotics. Springer International Publishing; 2016; p. 143–152, https://doi.org/10.1007/978-3-319-43955-6_18.
31. Davison A.J., Reid I.D., Molton N.D., Stasse O. MonoSLAM: real-time single camera SLAM. IEEE Trans Pattern Anal Mach Intell 2007; 29(6): 1052–1067, https://doi.org/10.1109/tpami.2007.1049.
32. Engel J., Schöps T., Cremers D. LSD-SLAM: large-scale direct monocular SLAM. In: Fleet D., Pajdla T., Schiele B., Tuytelaars T. (editors). Computer vision — ECCV 2014. ECCV 2014. Lecture Notes in Computer Science. Springer, Cham; 2014; p. 834–849, https://doi.org/10.1007/978-3-319-10605-2_54.
33. Mur-Artal R., Montiel J.M.M., Tardos J.D. ORB-SLAM: a versatile and accurate monocular SLAM system. EEE Trans Robot 2015; 31(5): 1147–1163, https://doi.org/10.1109/tro.2015.2463671.
34. Milford M.J., Wyeth G.F., Prasser D. RatSLAM: a hippocampal model for simultaneous localization and mapping. IEEE Int Conf Robot Autom 2004; 1: 403–408, https://doi.org/10.1109/robot.2004.1307183.

Karpov V.E., Malakhov D.G., Moscowsky A.D., Rovbo M.A., Sorokoumov P.S., Velichkovsky B.M., Ushakov V.L. Architecture of a Wheelchair Control System for Disabled People: Towards Multifunctional Robotic Solution with Neurobiological Interfaces. Sovremennye tehnologii v medicine 2019; 11(1): 90, https://doi.org/10.17691/stm2019.11.1.11