Измерение количественных характеристик перцепции с использованием моторного человеко-компьютерного интерфейса Hand tracker

Введение

Знание индивидуальных количественных характеристик перцептивных систем человека важно для решения задач медицинской диагностики нарушений первичных когнитивных функций человека, вызванных патологиями и расстройствами, а также задач управления реабилитационными процедурами. В частности, речь может идти о настройке интерфейсов техногенных, информационных и экзомоторных компонентов тренажеров и систем, восполняющих утраченные функции.

Целью работы явилось обоснование, описание и демонстрация практических применений сугубо инструментального объективного количественного метода измерения характеристик перцепции стимулов различной модальности в реальном масштабе времени, без вербализации испытуемым силы его субъективного ощущения, вызванного действием стимула.

Метод основан на измерении динамической погрешности выполнения испытуемым задачи моторного управления реальным или виртуальным (генерируемым компьютером) стимулом [1]. При этом количественную зависимость погрешности решения задачи управления от величины физического параметра внешнего стимула используют как характеристику сенсорного анализатора. Метод назван hand tracking по аналогии с предложенным А.Л. Ярбусом устройством [2] для исследования объемного внимания, которое теперь принято называть айтрекером. Оба устройства предназначены для измерения психофизических характеристик человека путем контроля моторных актов.

Обоснование метода было последовательно проведено на реальных стимулах двух типов: а) «тяжесть груза», когда изучались флуктуации напряжения двуглавой мышцы плеча при удержании в равновесии грузов разного веса; б) «высота тонального звука», когда сопоставлялись флуктуации частоты тональных звуков при их вокальном воспроизведении и воспроизведении с помощью электронного генератора, управлявшегося бесконтактным манипулятором.

Метод реализован в форме программно-аппаратного комплекса (ПАК) Hand tracker, позволяющего измерять в реальном масштабе времени количественные параметры перцепции различных звуковых и зрительных стимулов.

В статье демонстрируется использование ПАК на примерах изучения восприятия виртуальных стимулов «угол ориентации отрезка» и «цвет фигуры на фоне». В первом случае для здоровых испытуемых получены индивидуальные диаграммы точности восприятия угла наклона отрезка, позволяющие идентифицировать параметры нейронной модели первичного распознавателя угла наклона отрезка. Во втором случае показано, что у пациентов с очаговыми поражениями головного мозга пороги цветоразличения выше, чем в норме и, в отличие от здоровых, не зависят от семантического содержания стимула.

Так как ПАК Hand tracker позволяет одновременно независимо управлять несколькими (до восьми) параметрами звуковых и зрительных стимулов, то перспективы развития метода могут быть связаны с исследованием межмодального взаимодействия, а также с изучением коллективного поведения, когда разные члены команды управляют разными параметрами стимула, пытаясь решить общую задачу: например, добиться определенного размера и цвета круга. В обоих случаях процедура измерения является одновременно и тренирующей.

Часть опций Hand tracker может быть реализована на получивших широкое распространение смартфонах со встроенными сенсорами движения. Это открывает перспективу эпидемиологических исследований перцепции (первичных когнитивных функций) с учетом региональной, возрастной, гендерной, социальной и иной стратификации популяций.

Проблема инструментального исследования перцепции

В настоящее время наиболее известны два метода количественной оценки восприятия человеком чувственных стимулов.

Первый метод предложил в начале XVIII в. П. Бугер [3], исследовавший в интересах улучшения морской навигации восприятие человеком яркости светящихся объектов. Он установил постоянство отношения едва различимой разницы яркости ∆R свечения двух объектов к величине фоновой яркости R, которое сейчас принято называть относительным дифференциальным порогом восприятия. Более чем через 100 лет Э. Вебером, а затем и другими исследователями было показано, что в диапазоне величин стимулов, далеких от порогов восприятия и боли, правило Бугера соблюдается и для стимулов других модальностей [4, 5]. Это правило принято записывать в виде формулы:

где величина k зависит от модальности стимула; в опытах Бугера k ≅1/64.

В предположении равенства субъективно оцениваемого человеком относительного изменения силы ощущения и относительного изменения величины стимула, т.е.

Г. Фехнер [6] сделал вывод о логарифмической связи между силой ощущения S и величиной стимула R.

Второй метод, созданный С. Стивенсом [7], основан на предположении, что относительное изменение силы ощущения ∆S/S связано с относительным изменением величины стимула ∆R/R линейным соотношением, где постоянный коэффициент α в зависимости от модальности стимула может быть как меньше единицы, так и больше:

Из соотношения (3) при всех значениях α≠1, т.е. отличных от единицы, следует степенная связь между ощущением S и стимулом R:

При α=1, что соответствует гипотезе Фехнера, из соотношения (3) следует логарифмическая связь между силой ощущения S и величиной стимула R.

Для стимулов, далеких по величине от порогов восприятия и боли, формула (4) была подтверждена С. Стивенсом экспериментально [7]. Для многих модальностей ощущений величины k и α измерены и внесены в справочные руководства (например, [8]).

Общим недостатком обоих способов применительно и к диагностике, и к реабилитации является необходимость осознания испытуемым возникающего ощущения и вербального выражения субъективной оценки его силы. Это громоздко по времени и не гарантирует объективности и достоверности вербальной оценки силы субъективного ощущения.

В работе [9] нами был продемонстрирован принципиально иной, свободный от субъективизма и вербализации, сугубо инструментальный метод измерения количественных параметров перцепции индивидуума в реальном масштабе времени. Он основан на измерении величины динамической погрешности выполнения испытуемым задачи управления реальным или виртуальным (генерируемым компьютером) стимулом. При этом количественную зависимость погрешности решения задачи управления от величины физического параметра внешнего стимула используют как характеристику сенсорного анализатора. Этот подход опирается на простой факт, отмеченный еще И.М. Сеченовым [10], что человек использует ощущения в системе обратной связи для управления своими функциями, например движением.

Описание и обоснование использования метода

Обоснование возможности использования метода для исследования характеристик перцепции было проведено на реальных стимулах: «тяжесть груза» [11, 12] и «высота тонального звука» [13–15].

Так, при измерениях микроколебаний силы, развиваемой двуглавой мышцей плеча человека (при расслабленном его антагонисте — трехглавой мышце плеча), для удержания в равновесии груза, подвешенного на нерастяжимой нити к дистальной части предплечья руки, согнутой в локтевом суставе, было установлено, что средняя величина флуктуаций f_флукт силы, удерживающей груз около состояния равновесия, меняется с изменением массы m удерживаемого груза [11, 12]. При этом с погрешностью около 10% эти изменения средней величины флуктуаций ∆f_флукт в ответ на изменение массы удерживаемого груза ∆m подчиняются соотношению (3):

Коэффициент β у разных испытуемых (10 человек) имел значение 2,0–2,5.

Полученное с помощью чисто физических измерений соотношение (5) и соотношение (3), полученное с помощью субъективного психофизического измерения, отличаются друг от друга только обозначениями величин и, возможно, значениями α и β. Однако из этого следует, что физическое измерение флуктуаций (погрешностей) управления удержанием груза — это и есть объективное измерение перцепции в реальном масштабе времени. Таким образом, погрешность управления — это и есть то, что формирует ощущение и восприятие тяжести, и, по-видимому, в данном контексте их можно просто отождествлять.

Такая интерпретация погрешностей управления стимулами подтвердилась и при исследовании флуктуаций частоты тонального звука, воспроизводимого испытуемыми голосом [13, 15] или звуковым генератором [14, 15], управление частотой которого осуществлялось за счет изменения расстояния между неподвижной координатной плоскостью и бесконтактным манипулятором, который испытуемый свободно перемещал рукой (рис. 1, а).

---

Рис. 1. Схема управления параметрами предъявляемых звуковых (а) и зрительных (б) стимулов с помощью бесконтактного манипулятора [1]

---

Это расстояние измерялось ультразвуковым локатором и преобразовывалось в сигнал управления частотой звукового генератора, т.е. стимулом. Так как испытуемый не опирался рукой ни на какую опору, то манипулировать частотой звука он мог, ориентируюсь только на слух, как и при вокальном воспроизведении. При воспроизведении и голосом, и генератором измеренное значение флуктуаций ∆f частоты воспроизводимого звука оказалось пропорциональным значению воспроизводимой частоты f. Это в точности соответствует формулам (1) и (3) и укрепляет в мысли, что относительная погрешность управления стимулом, которое в обязательном порядке подразумевает наличие обратной связи, как раз и характеризует качество перцепции. При воспроизведении тонального звука голосом ∆f/f ≅ 0,15. При воспроизведении тонального звука управляемым генератором значение ∆f/f зависело от коэффициента К (Гц/мм), связывающего величину перемещения манипулятора с изменением частоты генератора звука. При К=0,17f значение ∆f/f становилось таким же, как при воспроизведении тонального звука голосом.

Таким образом, принципиальных отличий в качестве голосового и моторного управления тональностью звука не наблюдалось. Этого можно было и ожидать, так как воспроизведение тонального звука с помощью моторного акта является обычной работой музыкантов, играющих на струнных и духовых инструментах и терменвоксе, которые вполне можно рассматривать как управляемые звуковые генераторы с обратной связью.

В дальнейшем техника бесконтактного манипулятора была применена нами для объективного измерения восприятия не только звуковых, но и зрительных стимулов разного типа.

Программно-аппаратный комплекс Hand tracker

Изложенный подход был реализован в разработке ПАК Hand tracker [16, 17], который позволяет измерять в реальном масштабе времени количественные параметры перцепции звуковых и зрительных стимулов.

Это устройство дает возможность формировать практически неограниченное разнообразие зрительных стимулов и режимов их предъявления. В нем реализованы следующие типы зрительных стимулов: гомотетическое сжатие–растяжение (изменение размера) плоских фигур; линейное сжатие–растяжение плоских фигур вдоль выбираемой экспериментатором оси; вращение плоских фигур; перемещение плоских фигур; изменение цвета фигур на фоне; сжатие–растяжение отрезка прямой или сегмента кривой; вращение отрезка прямой или сегмента кривой; перемещение отрезка прямой или сегмента кривой.

Программно-аппаратный комплекс Hand tracker позволяет также формировать большое разнообразие звуковых стимулов и режимов их предъявления: изменяющийся по громкости тональный и шумовой звук; изменяющийся по частоте тональный звук; последовательность пар звуковых импульсов с изменяемым межимпульсным интервалом и изменяемой интенсивностью, бинауральная последовательность звуковых импульсов с изменяемой частотой следования и изменяемой интерауральной задержкой (латерометрия); бинауральная последовательность звуковых импульсов с изменяемым периодом следования и назначаемым или цитируемым из внешнего контента заполнением.

По выбору экспериментатора испытуемый может управлять любыми стимулами с помощью бесконтактного манипулятора (собственно Hand tracker), джойстика, стрелок, назначенных клавиш клавиатуры, мыши, панели touchpad. Экспериментатор задает в ПАК коэффициенты преобразования величины управляющего воздействия (например, перемещения манипулятора или джойстика) в величину изменения характеристики стимула. Цвет фона и плоских фигур, а также прорисовка контура фигуры (цвет, толщина) также назначаются экспериментатором. Основой стимула может быть фигура, линия, звуковой сигнал из библиотеки стимулов или цитата из внешнего источника.

Экспериментатор формирует сценарии испытания путем назначения правила изменения параметров изображений и звуков. Правило может задаваться формулой или дискретным численным рядом.

Каждый из сформированных сценариев, т.е. совокупность параметров стимулов и режимов их предъявления, может быть сохранен в базе данных как конфигурация и вызываться при проведении серий экспериментов. Результаты каждого из экспериментов, а также анкета испытуемых, состав которых может неограниченно пополняться, также могут быть сохранены в базе данных.

Кроме изучения восприятия отдельных зрительных и слуховых стимулов комплекс позволяет изучать межмодальное взаимодействие, поскольку звуковой и зрительный стимулы можно предъявлять одновременно, что приводит к тому, что испытуемый одной и той же манипуляцией управляет ими обоими. Это позволяет сопоставлять ошибки восприятия звуков и изображений как по отдельности, так и совместно.

Программно-аппаратный комплекс Hand tracker предусматривает возможность одновременного независимого управления несколькими (до восьми) параметрами звуковых и зрительных стимулов. Поэтому управление разными параметрами стимулов или разными комбинациями параметров стимулов может быть поручено двум или нескольким испытуемым, что позволит сопоставлять качество их восприятия и изучать их коллективное поведение при решении задач управления стимулами. Это означает, что ПАК Hand tracker, разработанный как чувственный человеко-машинный интерфейс, решает также проблему создания человеко-человеческого чувственного интерфейса (homo-homini perception interface) и согласования субъективных чувственных образов взаимодействующих субъектов.

В комплекс включен ряд классических психологических тестов.

Пример применения: исследование восприятия зрительного стимула «угол ориентации отрезка»

Испытуемому ставилась задача: с помощью манипулятора (рис. 1, б) так управлять ориентацией отрезка на мониторе компьютера, чтобы он постоянно был параллелен образцовому отрезку, предъявляемому экспериментатором на том же мониторе компьютера. При этом изучались отклонения ориентации управляемого отрезка от ориентации образцового.

Экспериментатор проводил три серии предъявлений стимулов: по нарастающей от –90 до +90 угловых градусов с шагом 22,5 угловых градуса, по убывающей и в случайном порядке. Испытуемый осуществлял управление каждым из углов наклона отрезка в течение 5 с. Через каждые 0,1 с проводился оцифрованный замер установленного им угла ориентации отрезка. Испытания однократно прошли 70 человек, считавших себя здоровыми, 10 из них проходили цикл тестирования по 4 раза по одному исследованию в день в течение одной рабочей недели.

На рис. 2, а приведен пример представления результатов единичного исследования. По окружности расположены миниатюрные графики изменения во времени угловой ориентации управляемого испытуемым отрезка для каждого значения углов ориентации образцового отрезка — стимула. В центре в полярных координатах приведена рассчитанная по этим данным диаграмма зависимости средне­квадратичного динамического отклонения (ошибки) угла наклона управляемого отрезка от угла наклона образцового отрезка. Исследование показало, что индивидуальные ориентационные диаграммы в разные дни могут изменяться. Поэтому для оценки текущего состояния анализатора измерения должны производиться в реальном масштабе времени. На диаграмме видно, что с наименьшей ошибкой испытуемый управляет вертикальным и горизонтальным отрезками. Этот же эффект подтверждается и осредненной ориентационной диаграммой для всех 10 испытуемых, прошедших четырехкратное тестирование (рис. 2, б).

---

Рис. 2. Пример результата единичного исследования (а) и осредненной ориентационной диаграммы для 10 испытуемых (б) По окружности отмечены в градусах углы ориентации образцового отрезка; по радиальной координате отложена величина среднеквадратичной динамической погрешности угловой ориентации управляемого отрезка по отношению к ориентации образцового (в градусах) [1]

---

Измерение индивидуальных ориентационных диаграмм (ошибок) открывает возможность для оценки параметров нейронной сети, выполняющей функцию первичного распознавателя, на основе ее моделирования. На рис. 3 сопоставлены экспериментальная и модельная ориентационные диаграммы (диаграммы динамических ошибок управления углом наклона отрезка).

---

Рис. 3. Индивидуальная ориентационная диаграмма, полученная в эксперименте (а), и ее теоретическое воспроизведение (б), основанное на использовании нейронподобной модели первичного распознавателя (рецептивного поля) ориентации отрезков [1]

---

Диаграмма 3, б отображена не в угловых градусах, а в условных единицах, поскольку экспериментальных данных для абсолютной калибровки радиальной оси модельной диаграммы было недостаточно. Однако по ним оказалось возможным осуществить идентификацию параметров межнейронных связей и порогов их возбуждения [18–20]. Интересным оказалось то, что невязка экспериментальной и теоретической диаграмм как функция величины рецептивного поля (числа нейронов в составе рецептивного поля) имеет минимум. В случае описываемой модели оптимум работы первичного распознавателя достигается для сети, состоящей приблизительно из 10² нейронов, что хорошо совпадает с числом нейронов в реальной распознающей колонке [21].

Пример применения: исследование цветоразличения зрительного стимула «фигура на фоне» при очаговых поражениях головного мозга

Для исследования зрительной перцепции пациентов с наличием очаговых поражений головного мозга была использована опция ПАК «кампиметрия», т.е. измерение порогов цветоразличения. Так как управление предъявляемыми стимулами с помощью бесконтактного манипулятора для пациентов с поражениями было затруднительно, динамические пороги цветоразличения измерить было нельзя из-за нарушений моторики. Поэтому измерялись статические пороги цветоразличения при предъявлении цветных фигур на цветном фоне в режимах, когда управление цветом фигуры осуществлялось с помощью кнопок клавиатуры компьютера. Использовали три типа цветных фигур, отличающихся семантическим содержанием: а) геометрические фигуры — круг, квадрат и прямоугольник; б) предметные изображения животных и плодов; в) буквы русского алфавита.

Цвет фона и цвет стимулов задавались в модели НLS (hue, lightness, saturation — цветовой тон, светлота, насыщенность) [22]. Цве­товой тон фона H задавался по шкале от 0 до 240 с шагом 60 усл. ед. при фиксированных значениях насыщенности S=220 усл. ед. и светлоты L=100 усл. ед.

Вначале испытуемому предъявляли изображение, на котором цветовой тон фона и фигуры совпадали. Нажимая стрелку клавиатуры, испытуемый увеличивал значение H с шагом 1 усл. ед. до тех пор, пока не обнаруживал фигуру. При этом при нажатии им клавиши Enter в системе регистрировался порог обнаружения в условных единицах цветового тона H либо регистрировалась ошибка, если фигура была распознана неверно. Об этом сообщала возникающая иконка. При новом нажатии клавиши испытуемому предъявлялось новое изображение с иным значением цветового фона H.

Первичные данные были получены при работе с экспериментальной группой пациентов неврологической клиники с установленными диагнозами: «острое нарушение мозгового кровообращения по ишемичес­кому типу», «острое нарушение мозгового крово­обращения по геморрагическому типу», «состояние после эндоскопического удаления кисты левого бокового желудочка» (5 мужчин, 4 женщины, возраст — 23–74 года) и контрольной группой условно здоровых — студентов кафедры психофизиологии очного и заочного отделений Нижегородского государственного университета им. Н.И. Лобачевского (5 мужчин, 25 женщин, возраст — 18–41 года).

Критериями включения испытуемых в экспериментальную группу являлись стабильное состояние (удовлетворительное или средней степени тяжести), отсутствие воспалительных заболеваний, тяжелых соматических заболеваний в стадии декомпенсации на момент обследования, возможность речевого контакта с испытуемым (способность понимать обращенную речь), отсутствие тяжелого двигательного дефицита.

Исследование проведено в соответствии с Хельсинкской декларацией (2013). От каждого пациента было получено информированное согласие.

Для установления влияния семантического содержания стимула на пороги цветоразличения был использован t-критерий Стьюдента для выборки данных, полученных для экспериментальной и контрольной групп (см. таблицу) при предъявлении однородных по цветовому оттенку, но разных по семантике цветовых стимулов.

---

Значения порогов цветоразличения в эксперименте со зрительными стимулами

---

Согласно этому критерию для всех предъявленных цветовых тонов фона установлены статистически значимые (p<0,05) различия результатов измерений порога цветоразличения у испытуемых контрольной и экспериментальной групп при обнаружении любого из трех типов цветовых стимулов. При этом у испытуемых экспериментальной группы не обнаружено достоверных различий дифференциальных порогов по цветовому тону при различающейся семантике стимулов. В контрольной группе для цветового тона 60 (зеленый, [22]) выявлено статистически значимое (p<0,05) уменьшение порога цветоразличения букв русского алфавита по сравнению с предметными изображениями.

Таким образом, результаты эксперимента показали возможность выделения качественного отличия зрительной перцепции от нормы у пациентов с локальными поражениями головного мозга по двум признакам:

пороги цветоразличения выше, чем в норме, для всех предъявленных типов стимулов, отличающихся семантическим содержанием;

семантика зрительного стимула не влияет на порог цветоразличения ни для одного из предъявленных цветовых тонов.

Заключение

Приведенные примеры практического использования метода сугубо инструментального количественного измерения характеристик перцепции, реализованного в форме программно-аппаратного комплекса Hand tracker, позволяют заключить, что данный метод может эффективно использоваться для широкого класса лабораторных и клинических исследований восприятия стимулов различной модальности. При этом сама по себе процедура измерения является одновременно и тренирующей.

По сравнению с каноническими методами исследования перцепции hand trаcking имеет гораздо более высокое быстродействие и позволяет в условиях лаборатории и клиники получить количественные данные о перцепции, недоступные ранее.

Наличие в устройстве нескольких параллельных каналов предъявления стимулов и управления их параметрами открывает возможности объективного изучения восприятия мультимодальных стимулов, а также объективного изучения взаимодействия людей в команде, синхронно управляющей параметрами виртуального стимула (например, размером и цветом объекта). Таким образом, программно-аппаратный комплекс Hand tracker можно интерпретировать и как человеко-человеческий чувственный интерфейс (homo-homini perception interface), обеспечивающий взаимодействующим субъектам согласование их субъективных чувственных образов объектов-стимулов.

Взрывной рост количества пользователей смартфонов открывает перспективы развития метода hand tracking в направлении эпидемиологических исследований перцепции (первичных когнитивных функций) с учетом региональной, возрастной, гендерной, социальной и иной стратификации популяций. Наличие в смартфонах встроенных сенсоров позволяет создавать специальные программные приложения [17, 23], реализующие зрительные и слуховые перцептивные тесты. Более того, некоторые широко используемые приложения и опции управления смартфоном при определенной модификации, разумеется, согласованной с пользователем, могут быть превращены в непроизвольно выполняемый пользователем перцептивный тест. Это может дать самые неожиданные результаты, подобно тому, как создание сети метеостанций позволило открыть циклоны и антициклоны.

Благодарность. Автор выражает глубокую признательность С.А. Полевой и М.М. Цирковой за их вклад в проведение исследований, описанных в статье.

Финансирование исследования. Работа поддержана грантами Российского фонда фундаментальных исследований №13-04-12063, №05-08-33526-а, №97-06-80286-а, №00-06-80141-а и проектом №0035-2014-0008 в рамках государственного задания Институту прикладной физики РАН.

Конфликт интересов не просматривается.