Оценка точности пространственной локализации объекта с помощью моно- и стереорежимов визуально-аудиального сенсорного замещения у лиц с ограниченными возможностями по зрению (пилотное исследование)

А.С. Буторова, Е.А. Корюкин, Н.М. Хоменко, А.П. Сергеев

Ключевые слова: ограниченные возможности зрения; визуально-аудиальное сенсорное замещение; звуковое представление объекта.

Цель исследования — оценить точность пространственной локализации объекта в моно- и стереорежимах визуально-аудиального сенсорного замещения путем тестирования разработанной системы на испытуемых с нормальным или скорректированным до нормального зрением.

Материалы и методы. Изготовлен прототип устройства визуально-аудиального сенсорного замещения на основе видеокамеры с двумя объективами. Разработано программное обеспечение, выполняющее преобразование сигнала с видеокамеры в звуковой сигнал в моно- и стереорежимах.

Для тестирования разработанной системы проведено экспериментальное исследование с участием 30 зрячих лиц с завязанными глазами. 15 человек проходили тестирование в монорежиме, 15 — в стереорежиме. Все испытуемые прошли обучение работе с системой визуально-аудиального сенсорного замещения. Во время эксперимента участники должны были определить местоположение белого пластикового куба размером 4×4×4 см³ на рабочей поверхности. Куб устанавливался экспериментатором в одно из 20 положений на рабочей поверхности псевдослучайным образом.

Результаты. Для оценки точности локализации куба вычислялись отклонения по осям X и Y и абсолютные отклонения. Общая динамика точности локализации куба была положительной как в моно-, так и в стереорежиме. Абсолютное отклонение и отклонение по оси X были значимо выше в стереорежиме, значимого различия в отклонении по оси Y между режимами не наблюдалось. В среднем участники были склонны недооценивать расстояние до куба, когда он находился слева, справа или в дальней части рабочей поверхности, и переоценивать его, когда куб находился в ближней части рабочей поверхности.

Заключение. Исследования показали, что точность локализации объекта в стереорежиме можно повысить, если увеличить время, отведенное на тренировку испытуемых, и продемонстрировать им большее количество предъявлений. Результаты исследования могут быть использованы при разработке ассистивных технологий для лиц с ограниченными возможностями по зрению, изготовлении медтехники, создании нейроинтерфейсов.

Введение

По данным Всемирной Организации Здравоохранения (ВОЗ), различными формами нарушения зрения, в том числе слепотой, страдают минимум 2,2 млрд человек по всему миру [1]. В ближайшие годы ожидается значительный рост числа таких людей по причине демографического роста и старения населения. В России, согласно статистике Минздрава, ежегодно регистрируется в среднем 4,7 млн случаев офтальмологических заболеваний. В течение 2022 г. диагностировано 3,6 млн случаев заболеваний глаз [2].

Для повышения качества жизни лиц с ограниченными возможностями зрения разрабатываются различные технологии, которые призваны решить проблему их самостоятельной навигации. В настоящее время для этого используются как традиционные подходы, такие как собаки-поводыри, шрифт Брайля, тактильные индикаторы, так и современные инвазивные и неинвазивные технологии.

Инвазивные технологии включают в себя процедуры имплантации микрочипов непосредственно в сетчатку глаза или зрительный нерв [3]. Микрочипы могут преобразовывать световые сигналы в электрические импульсы, которые передаются в мозг и интерпретируются как зрительные сигналы. Данные технологии сопряжены с риском осложнений и отторжения имплантата организмом и требуют комплексной операции.

Неинвазивные технологии в отличие от инвазивных не требуют хирургического вмешательства. К ним относятся транскраниальная магнитная стимуляция [4], магнитная стимуляция мозга при помощи наночастиц [5], сенсорное замещение [6].

Cенсорное замещение — процесс, в результате которого утраченная функция органа или чувства компенсируется другими органами или чувствами [7]. Процесс сенсорного замещения зрения происходит с помощью двух основных видов устройств: визуально-тактильных и визуально-аудиальных. Визуально-тактильные устройства преобразуют изображение с камеры в тактильный сигнал, который подается на различные участки тела [8]. Визуально-аудиальное сенсорное замещение позволяет передавать информацию о внешней среде с помощью звуковых сигналов.

Одна из первых систем визуально-аудиального сенсорного замещения The vOICe была разработана П. Мейером [9]. По определенному алгоритму система The vOICe выполняет преобразование сигнала с видеокамеры в звуковой сигнал. Высота положения объекта в поле зрения видеокамеры кодируется звуковым тоном: чем выше положение объекта в поле зрения, тем выше тон его звучания. Яркость объекта кодируется громкостью: чем ярче (светлее) объект, тем громче он звучит.

Авторы работы [10] приводят 4 стадии формирования представлений, на которые опирается испытуемый при тренировке восприятия пространства и предметов с помощью системы сенсорного замещения The vOICe: диффузное восприятие, синкрет, предпонятие и понятие. Благодаря механизму обратной связи со временем обучающиеся выделяют из звучания предметы окружающего мира, отмечают различия между звуковыми паттернами и формами разных предметов и, наконец, могут определять принадлежность звучания незнакомого объекта к определенной категории.

В 1998 г. был разработан прототип другого устройства визуально-аудиального сенсорного замещения, который получил название PSVA (Prosthesis for Substitution of Vision by Audition) [11]. Принцип работы PSVA заключается в том, что каждому пикселю изображения ставится в соответствие синусоидальный сигнал звуковой частоты. Сумма этих синусоидальных сигналов воспроизводится через головные телефоны (наушники). The vOICe и PSVA преобразовывают черно-белые изображения и не передают цветовую информацию. Примерами систем, выполняющих преобразование в звук цветного изображения, являются EyeMusic [12] и SeeColOr [13]. В работе [14] для предварительной обработки сигнала с видеокамеры авторы использовали методы искусственного интеллекта.

При использовании устройств визуально-аудиального сенсорного замещения могут возникнуть ряд проблем. Одной из них является длительная тренировка пользователей устройств визуально-аудиального сенсорного замещения: от нескольких месяцев до нескольких лет [15–17]. Низкая доступность устройств визуально-аудиального сенсорного замещения влияет на их распространенность среди лиц с ограниченными возможностями зрения. Из-за ограниченного выпуска и высокой стоимости они проигрывают более доступным и удобным устройствам. Кроме того, устройства сенсорного замещения тестируются преимущественно в лабораторных условиях, которые далеки от условий реальной среды обитания. Это может приводить к неполной или искаженной информации о реальной производительности устройств визуально-аудиального сенсорного замещения [18]. Наконец, пользователи таких устройств сталкиваются с сенсорной перегрузкой — состоянием, при котором мозг получает слишком большое количество ощущений от внешних раздражителей, что приводит к усталости и, как следствие, к снижению концентрации [18, 19]. В работе [20] в системе визуально-аудиального сенсорного замещения для предоставления пользователю звукового представления окружающей среды была использована видеокамера с двумя объективами. Систему применяли для навигации в различных сценариях, в том числе в условиях реальной среды обитания.

Авторы настоящей статьи предположили, что использование в системе визуально-аудиального сенсорного замещения стереорежима, выполняющего преобразование сигнала с видеокамеры с двумя объективами, позволит симулировать бинокулярное зрение человека и тем самым повысить точность пространственной локализации объекта. Была сформулирована следующая гипотеза: использование в системе визуально-аудиального сенсорного замещения стереорежима повысит точность решения задачи пространственной локализации объекта по сравнению с монорежимом.

Материалы и методы

Прототип устройства и экспериментальная установка. Прототип устройства визуально-аудиального сенсорного замещения изготовлен на основе очков и цифровой видеокамеры с двумя объективами (рис. 1, а). Сигнал с видеокамеры передается через USB-порт на ноутбук. Этот сигнал преобразуется в звук с помощью оригинального программного обеспечения. Звуковой сигнал считывается с ноутбука и воспроизводится через проводные наушники.

Рис. 1. Экспериментальная установка:

а — прототип устройства визуально-аудиального сенсорного замещения; б — белый куб на черной поверхности стола

Данное устройство предназначено для лиц с нарушениями зрения с 3-й по 5-ю категорию по классификации МКБ-10 степеней тяжести нарушения зрения (группа H54 Нарушения зрения, включая слепоту) [21]. В эти категории входят лица с ограниченными возможностями зрения, которые нуждаются в помощи в повседневной жизни, используют белую трость, собаку-поводыря или человека-поводыря для навигации.

Экспериментальная установка состоит из стола, покрытого черной тканью (рис. 1, б). С каждой из четырёх сторон, чтобы исключить засветы и шум, он окружен черной тканевой ширмой. Размеры рабочей поверхности составляют 600×600 мм². Над ней установлено локальное освещение, основного освещения в помещении нет. Для видеофиксации эксперимента над рабочей поверхностью установлена видеокамера таким образом, чтобы ее фокальная плоскость была параллельна плоскости стола. В качестве манипулируемого объекта используется белый пластиковый куб размером 4×4×4 см³.

Программное обеспечение. На вход разработанной программы поступает изображение с цифровой видеокамеры с двумя объективами, которые создают два отдельных кадра на двух отдельных матрицах. Программа захватывает изображения с двух объективов и изменяет цветовое пространство изображений с RGB на чёрно-белое. Для захвата изображений с видеокамеры использовали библиотеку OpenCV языка программирования Python, преобразование изображений в звук реализовано на языке С.

Программа может работать в двух режимах: моно или стерео (рис. 2). В монорежиме использован алгоритм The vOICe [9]. Стереорежим разработан авторами. В монорежиме из двух исходных изображений формируется одно в соответствии со средним значением яркости исходных изображений. Размер изображения уменьшается до 176×64 пикселей, а яркость и контрастность изображения изменяются в соответствии с заданными правилами. В стереорежиме программа выполняет те же преобразования отдельно для каждого из двух исходных изображений.

Рис. 2. Моно- (а) и стереорежимы (б)

Затем в монорежиме программа разбивает изображение на строки и столбцы шириной 1 пиксель и вычисляет значение звукового сигнала для каждого пикселя на пересечении строки и столбца. Вычисляются два параметра звукового сигнала: амплитуда и частота. Амплитуда звукового сигнала вычисляется пропорционально яркости пикселя, при этом чем выше яркость, тем больше амплитуда звукового сигнала. Частота звукового сигнала вычисляется пропорционально координате положения пикселя по вертикальной оси, при этом чем больше координата, тем выше частота его звучания. Затем программа суммирует значения звукового сигнала по столбцам пикселей последовательно слева направо и записывает их в аудиофайл. При воспроизведении аудиофайла громкость в правом канале устанавливается выше для первой половины файла, громкость в левом канале — выше для второй половины файла.

В стереорежиме программа выполняет разбиение и вычисление параметров звукового сигнала аналогично монорежиму, но для двух изображений по отдельности. Отличие от монорежима заключается в том, что в стереорежиме программа записывает значения сигнала с левого кадра в левый канал аудиофайла, а значения сигнала с правого кадра — в правый канал аудиофайла.

Экспериментальное исследование. Для оценки возможностей разрабатываемой системы проведено экспериментальное исследование в соответствии с этическими принципами, сформулированными в Хельсинкской декларации (2013). Получено разрешение Комиссии по этике УрФУ им. Б.Н. Ельцина (выписка из протокола заседания №02 от 10 марта 2023 г.).

Все участники подписали информированное согласие на участие в исследовании и согласие на обработку данных, полученных в ходе исследования (данные участников были анонимизированы). Участие в эксперименте являлось добровольным, каждый испытуемый мог в любое время отказаться от участия без объяснения причин. Участники имели нормальное или скорректированное до нормального зрение и сообщили об отсутствии в анамнезе неврологических или психических заболеваний. Ни один из участников ранее не имел опыта использования устройств сенсорного замещения для определения местоположения объектов или исследования трехмерной среды.

В эксперименте приняли участие 30 человек в возрасте от 18 до 51 года. Было сформировано две группы: 15 человек протестированы в монорежиме, остальные 15 — в стереорежиме. Группы были сбалансированы по полу и возрасту: 15 мужчин со средним возрастом 30,2 года и 15 женщин со средним возрастом 30,7 года.

На время эксперимента участникам завязали глаза, таким образом никто из них не видел установку до окончания эксперимента. Перед началом работы проводилась калибровка: экспериментатор располагал куб в центре рабочей поверхности стола, участники прослушивали, как звучит куб, и накрывали его ладонью. Затем экспериментатор устанавливал куб в крайнее верхнее и крайнее нижнее положения на рабочей поверхности, чтобы участники получили представление о ее размерах.

Все участники прошли обучение работе с системой визуально-аудиального сенсорного замещения. Экспериментатор подробно рассказал о правилах перекодирования изображения в звук и просил испытуемых выполнить тренировочные задания: локализовать и захватить куб в центральном, правом нижнем и левом верхнем положениях на рабочей поверхности. Чтобы определить местоположение куба, участники должны были отцентрировать камеру таким образом, чтобы куб находился прямо перед ними. Отцентрированный куб звучал в средней тональности в середине звуковой дорожки. Инструкции по определению местоположения куба были взяты из русскоязычной версии Учебного пособия по использованию программы The vOICe без существенных изменений: «Для вертикального центрированиянеобходимо поднять голову вверх и потом наклонить вниз, пока сигнал объекта не зазвучит в среднем тоне (ни высоко, ни низко). Далее, поддерживая голову на выбранном уровне, необходимо повернуть ее влево, затем вправо, пока сигнал не зазвучит через полсекунды от начала звучания звукового ландшафта, т.е. в горизонтальной середине каждого скана звукового ландшафта продолжительностью в одну секунду. Таким образом, будет казаться, что звук объекта доносится от направления «прямо перед вами», а не справа или слева. Тогда вы можете протянуть руку и схватить предмет, представляя, что он находится в том направлении, в котором указывает ваш нос» [22]. После тренировки испытуемые переходили к этапу тестирования.

Во время тестирования белый куб случайным образом устанавливали в одно из 20 положений на рабочей поверхности стола. Каждому участнику предъявляли одну и ту же последовательность положений куба. Участник сидел на стуле перед столом и исследовал установку с помощью наклонов головы и корпуса. Вставать и передвигаться по комнате было нельзя. После первых 10 предъявлений куба всем участникам был предложен 10-минутный перерыв, при этом они могли отказаться от перерыва и продолжить эксперимент.

Для оценки точности места расположения куба вычисляли отклонения по осям X и Y с соответствующим знаком и абсолютные отклонения. Для этого были размечены центральные точки на гранях куба и тыльных сторонах ладоней испытуемых. Отклонения по осям X и Y вычисляли как разницу между центральной точкой верхней грани куба и точкой, отмеченной черным маркером на тыльной стороне ладони участника. Абсолютные отклонения del вычисляли по формуле:

где delX — отклонение по оси X; delY — отклонение по оси Y.

Статистическую обработку данных выполняли в программном пакете Statistica v. 12. Статистическую значимость различий результатов двух экспериментальных групп оценивали с помощью непараметрического критерия Манна–Уитни, поскольку рассматривались различия между независимыми группами.

В группе, которая тестировалась в монорежиме, абсолютное отклонение составило 125,9±98,1 мм; в группе, которая тестировалась в стереорежиме, — 173,6±113,2 мм.

Результаты

Общая динамика точности локализации куба. Ее значения были положительными как в моно-, так и в стереорежиме. Наблюдаемое абсолютное отклонение снижалось с 1-го по 12–14-е предъявление. Затем наблюдался рост абсолютного отклонения с 14–15-го по 20-е предъявление, однако исходные абсолютные отклонения не были достигнуты (рис. 3).

Рис. 3. Общая динамика точности локализации куба

Абсолютные отклонения. Их значения были статистически значимо выше в стереорежиме (тест Манна–Уитни, p<0,05). Отклонение по оси X оказалось статистически значимо выше также в стереорежиме (тест Манна–Уитни, p=0,03). Статистически значимого различия в отклонении по оси Y между режимами не обнаружено (тест Манна–Уитни, p=0,38).

В обоих режимах участники были склонны к смещению к центру рабочей поверхности как по оси X, так и по оси Y. В среднем участники были склонны к смещению по оси X вправо, причем смещение по оси X было немного выше в стереорежиме. В среднем участники недооценивали расстояние до куба по оси Y, при этом недооценка в моно- и стереорежимах была примерно сопоставимой (рис. 4).

Рис. 4. Абсолютные отклонения значений точности локализации объекта

Отклонения по осям X и Y. Когда куб находился в левой части рабочей поверхности (рис. 4, область отрицательных значений по оси X), участники были склонны недооценивать расстояние до него. При этом, чем левее был расположен куб, тем сильнее испытуемые недооценивали расстояние до него. Недооценка расстояния до куба в стереорежиме оказалась выше, чем в монорежиме. Когда куб находился в правой части рабочей поверхности (рис. 4, область положительных значений по оси X), испытуемые вновь недооценивали расстояние до куба. При этом, чем правее был расположен куб, тем сильнее испытуемые недооценивали расстояние до него (рис. 5, а).

Рис. 5. Отклонения по осям X (а) и Y (б)

Когда куб находился в нижней части рабочей поверхности (рис. 4, область отрицательных значений по оси Y), участники были склонны переоценивать расстояние до него, а при нахождении куба в верхней части рабочей поверхности (рис. 4, область положительных значений по оси Y) отмечена склонность участников недооценивать расстояние до него. При этом переоценка расстояния до куба, расположенного в нижней части рабочей поверхности, была в 2 раза меньше, чем недооценка расстояния до куба, расположенного в верхней части рабочей поверхности. Оба режима показали примерно сопоставимые отклонения по оси Y (рис. 5, б).

Обсуждение

Исследование возможностей системы сенсорного замещения предполагает несколько этапов, первым из которых является экспериментальное тестирование разрабатываемой системы на людях с нормальным или скорректированным до нормального зрением. В настоящей работе точность пространственной локализации куба в моно- и стереорежимах визуально-аудиального сенсорного замещения была оценена именно путем тестирования на испытуемых с нормальным или скорректированным до нормального зрением.

Общая динамика точности локализации куба была положительной как в моно-, так и в стереорежиме. Наблюдаемый рост абсолютного отклонения с 14–15-го по 20-е предъявление может свидетельствовать об испытываемой тестируемыми сенсорной перегрузке, которая привела к снижению точности локализации куба. Этот эффект согласуется с результатами, полученными в других исследованиях [23, 24]. Однако для более качественного решения проблемы сенсорной перегрузки необходима модификация алгоритма визуально-аудиального сенсорного замещения. Преобразование и передача каждой части информации, снятой видеокамерой, создают дискомфортную стимуляцию. Поэтому при разработке алгоритмов визуально-аудиального сенсорного замещения принципиальный вопрос заключается в том, какой объем информации из поля зрения видеокамеры следует преобразовывать в звук и следует ли эту информацию просто транслировать или значительно предобрабатывать и упрощать при преобразовании в звук.

Авторами была выдвинута гипотеза о том, что использование стереорежима в системе визуально-аудиального сенсорного замещения повысит точность решения задачи пространственной локализации куба. Однако абсолютное отклонение и отклонение по оси X оказались статистически значимо выше в стереорежиме. Испытуемые в среднем с одинаковой точностью оценивали расстояние до объекта по глубине в обоих режимах, однако в стереорежиме они значительно недооценивали расстояние до объекта по ширине вправо и влево. Таким образом, стереорежим не продемонстрировал увеличения точности, что не позволило подтвердить гипотезу. Этот результат, однако, может указывать на недостаточность времени обучения для успешного освоения навыка использования стереорежима.

В обоих режимах участники были склонны к смещению объекта к центру рабочей поверхности как по оси X, так и по оси Y. Этот результат согласуется с предыдущей работой авторов по восприятию глубины при визуально-аудиальном сенсорном замещении [19]. Систематическая склонность к смещению объекта вправо по оси X может указывать на функциональную асимметрию мозга участников в задаче локализации объекта [25].

Полученные результаты дают возможность сформулировать дальнейшие направления исследований:

1) оценка субъективной сенсорной перегрузки испытуемых в моно- и стереорежимах визуально-аудиального сенсорного замещения с помощью опросников, например индекса нагрузки NASA-TLX [26];

2) оценка точности пространственной локализации объекта в стереорежиме с предъявлением большего числа проб;

3) проведение экспериментального тестирования моно- и стереорежимов в реальной среде и их корректировка с учетом особенностей среды обитания;

4) тестирование разработанных режимов на испытуемых с ограниченными возможностями зрения.

Заключение

В настоящей работе предложены моно- и стереорежимы визуально-аудиального сенсорного замещения и протестированы на испытуемых с нормальным или скорректированным до нормального зрением. Изготовлен прототип устройства визуально-аудиального сенсорного замещения на основе видеокамеры с двумя объективами, разработано программное обеспечение, выполняющее преобразование сигнала с видеокамеры в звук в моно- и стереорежимах.

Полученные результаты позволяют говорить о перспективах разработки ассистивных технологий для лиц с ограниченными возможностями по зрению, а также интерфейсов мозг-компьютер.

Благодарности. Авторы выражают благодарность добровольцам, принявшим участие в исследовании.

Финансирование. Исследование выполнено по государственному заданию ИПЭ УрО РАН (номер темы в ЕГИСУ НИОКТР 124022800166-4). Аспирант УрФУ Е.А. Корюкин и студент УрФУ Н.М. Хоменко принимали участие в исследовании в период практики и выполнения учебно-исследовательских работ.

Конфликт интересов. У авторов нет конфликта интересов.

Литература

World Health Organization. Blindness and vision impairment. URL: https://www.who.int/news-room/fact-sheets/detail/blindness-and-visual-impairment.
Федеральная служба государственной статистики (Росстат). Заболеваемость населения по основным классам болезней в 2000–2022 гг. URL: https://rosstat.gov.ru/storage/mediabank/zdr2-1.xls.
Erickson-Davis C., Korzybska H. What do blind people “see” with retinal prostheses? Observations and qualitative reports of epiretinal implant users. PLoS One 2021; 16(2): e0229189, https://doi.org/10.1371/journal.pone.0229189.
Koponen L.M., Peterchev A.V. Transcranial magnetic stimulation: principles and applications. In: He B. (editor). Neural Engineering. Springer, Cham; 2020, https://doi.org/10.1007/978-3-030-43395-6_7.
Nguyen T., Gao J., Wang P., Nagesetti A., Andrews P., Masood S., Vriesman Z., Liang P., Khizroev S., Jin X. In vivo wireless brain stimulation via non-invasive and targeted delivery of magnetoelectric nanoparticles. Neurotherapeutics 2021; 18(3): 2091–2106, https://doi.org/10.1007/s13311-021-01071-0.
Farnum A., Pelled G. New vision for visual prostheses. Front Neurosci 2020; 14: 36, https://doi.org/10.3389/fnins.2020.00036.
Bach-y-Rita P., Kercel S. W. Sensory substitution and the human-machine interface. Trends Cogn Sci 2003; 7(12): 541–546, https://doi.org/10.1016/j.tics.2003.10.013.
Brooks J., Kristjánsson Á., Unnthorsson R. Sensory substitution: visual information via haptics. In: Holmes N.P. (editor). Somatosensory Research Methods. Neuromethods. Vol 196. Humana, New York, NY; 2023, https://doi.org/10.1007/978-1-0716-3068-6_14.
Meijer P.B. An experimental system for auditory image representations. IEEE Trans Biomed Eng 1992; 39(2): 112–121, https://doi.org/10.1109/10.121642.
Лебедева С.А. Звуковое зрение как современный способ реабилитации незрячих людей. В кн.: Cognitive Neuroscience — 2021. Екатеринбург: Издательство Уральского университета; 2022; с. 176–180. URL: https://elar.urfu.ru/handle/10995/109097.
Capelle C., Trullemans C., Arno P., Veraart C. A real-time experimental prototype for enhancement of vision rehabilitation using auditory substitution. IEEE Trans Biomed Eng 1998; 45(10): 1279–1293, https://doi.org/10.1109/10.720206.
Abboud S., Hanassy S., Levy-Tzedek S., Maidenbaum S., Amedi A. EyeMusic: introducing a “visual” colorful experience for the blind using auditory sensory substitution. Restor Neurol Neurosci 2014; 32(2): 247–257, https://doi.org/10.3233/RNN-130338.
Bologna G., Deville B., Pun T., Vinckenbosch M. Transforming 3D coloured pixels into musical instrument notes for vision substitution applications. EURASIP Journal on Image and Video Processing 2007; 2007: 1–14, https://doi.org/10.1155/2007/76204.
Kim M., Park Y., Moon K., Jeong C.Y. Deep learning-based optimization of visual–auditory sensory substitution. IEEE Access 2023; 11: 14169–14180, https://doi.org/10.1109/ACCESS.2023.3243641.
Neugebauer A., Rifai K., Getzlaff M., Wahl S. Navigation aid for blind persons by visual-to-auditory sensory substitution: a pilot study. PLoS One 2020; 15(8): e0237344, https://doi.org/10.1371/journal.pone.0237344.
Ward J., Meijer P. Visual experiences in the blind induced by an auditory sensory substitution device. Conscious Cogn 2010; 19(1): 492–500, https://doi.org/10.1016/j.concog.2009.10.006.
Łukowska M., Kałwak W., Osiński D., Janik J., Wierzchoń M. How to teach a blind person to hear colours? Multi-method training for a colour-to-sound sensory substitution device — design and evaluation. International Journal of Human-Computer Studies 2022; 168: 102925, https://doi.org/10.1016/j.ijhcs.2022.102925.
Richardson M., Thar J., Alvarez J., Borchers J., Ward J., Hamilton-Fletcher G. How much spatial information is lost in the sensory substitution process? Comparing visual, tactile, and auditory approaches. Perception 2019; 48(11): 1079–1103, https://doi.org/10.1177/0301006619873194.
Буторова А.С., Сергеев А.П. Опыт использования неинвазивного сенсорного замещения при локализации объектов в пространстве. Траектория исследований — человек, природа, технологии 2023; 2(6): 16–27, https://doi.org/10.56564/27825264_2023_2_16.
Caraiman S., Zvoristeanu O., Burlacu A., Herghelegiu P. Stereo vision based sensory substitution for the visually impaired. Sensors (Basel) 2019; 19(12): 2771, https://doi.org/10.3390/s19122771.
Международная классификация болезней 10-го пересмотра (МКБ-10). URL: https://mkb-10.com/.
Учимся видеть. Учебное пособие по использованию программы The vOICe. URL: https://www.seeingwithsound.com/manual_ru/The_vOICe_Training_Manual_ru.htm.
Froese T., Ortiz-Garin G.U. where is the action in perception? An exploratory study with a haptic sensory substitution device. Front Psychol 2020; 11: 809, https://doi.org/10.3389/fpsyg.2020.00809.
Yun O.T., Deng Q. Concerns regarding sensory substitution: overload and conflict. Proceedings of the 2022 International Conference on Social Sciences and Humanities and Arts (SSHA 2022) 2022, https://doi.org/10.2991/assehr.k.220401.185.
Kiss D.S., Toth I., Jocsak G., Barany Z., Bartha T., Frenyo L.V., Horvath T.L., Zsarnovszky A. Functional aspects of hypothalamic asymmetry. Brain Sci 2020; 10(6): 389, https://doi.org/10.3390/brainsci10060389.
Hart S.G., Staveland L.E., Development of NASA-TLX (Task Load Index): results of empirical and theoretical research. Advances in Psychology 1988; 52: 139–183, https://doi.org/10.1016/S0166-4115(08)62386-9.