Методология семантического картирования мозга с использованием многомерной индексации потока устного русского текста: опыт валидизации и развития

Б.M. Величковский, В.И. Заботкина, З.А. Носовец, А.А. Котов, Л.Я. Зайдельман, С.И. Карташов, А.Н. Коростелева, Д.Г. Малахов, В.А. Орлов, А.А. Зинина, Э. Гольдберг, В.Л. Ушаков

Ключевые слова: экологическая валидность; сигнал BOLD; моделирование в семантике; метод главных компонент; когнитивное вычитание; функция гемодинамического ответа; субкортикальные структуры; межполушарная латерализация.

В данном исследовании мы объединили лингвистическое аннотирование устных текстов на русском языке с регистрацией сигнала BOLD (blood-oxygen-level-dependent) в экспериментах с применением функциональной МРТ, чтобы определить, как и где семантические категории репрезентированы в мозге человека. С тем же самым материалом изучены различия активации коры головного мозга при заслушивании текстов, относящихся к трем тематическим областям: описание принципов функционирования технических устройств, описание природы и более личностно-ориентированные тексты, затрагивающие вопросы социокультурной идентичности человека в конфликтных ситуациях. Обсуждаются методологические проблемы, связанные с каждым из этих подходов при изучении активности мозга в естественных условиях, т.е. при восприятии непрерывного потока осмысленной речи.

В рамках изучения разных по тематике текстов обнаружены лишь минимально значимые различия активности мозга. Этот результат позволяет сделать вывод, что макроструктурный подход, основанный на контрастировании тематически различных групп текстов, как вариант традиционной методологии когнитивного вычитания недостаточен для изучения механизмов понимания текстов и должен быть дополнен моделированием многомерных репрезентаций семантики слов в динамике вызванной ими активации мозговых структур. В рамках такого — микроструктурного — подхода мы описываем нейролингвистические процессы понимания текста как активацию 15 кластеров, ответственных за глобальные семантические категории (например, «Конфликт», «Ментальное», «Социальное»). Полученные данные говорят о том, что репрезентации этих категорий распределены в пространстве мозга. В отличие от предыдущих работ, подчеркивавших роль неокортекса, мы обнаружили, что субкортикальные структуры также вовлечены в репрезентацию семантической информации. Наблюдавшаяся латерализация компонентов семантических кластеров подчеркивает вовлеченность правого полушария в обработку значения. Показана возможность дальнейшего уточнения этого подхода.

Не спрашивай, что внутри твоей головы,

а спрашивай, внутри чего твоя голова.

Джеймс Дж. Гибсон

Неинвазивные методы мозгового картирования, в частности функциональная МРТ (фМРТ), позволили установить впечатляющие связи между психологическими исследованиями когнитивных функций и нейронаукой. Однако экологическая валидность подобных конвергентных работ обычно довольно низка. Это может стать критическим недостатком когнитивной нейронауки, поскольку оценки когнитивных достижений способны меняться драматическим образом, когда исследования проводятся в обстоятельствах и на материале, соответствующих привычным условиям жизнедеятельности. Примером может служить изменение представлений о возможностях памяти человека, когда предъявление буквенно-цифровых последовательностей было заменено показом сложных естественных изображений [1–3].

Аналогично этому основной массив результатов психолингвистических и нейролингвистических экспериментов может иметь артефактный характер, так как эти эксперименты проводились с использованием в качестве стимульного материала изолированных слов или, в лучшем случае, предложений. Хотя семантическая селективность отдельных областей мозга была известна из клинических наблюдений в течение десятилетий [4], вопрос об общих принципах и механизмах репрезентации семантики речи в головном мозге человека был впервые поставлен и изучен экспериментально лишь в фундаментальной работе A.G. Huth и соавт. [5]. Эти авторы систематически изучали семантическую селективность репрезентаций понятий английского языка, используя повоксельное моделирование фМРТ ответов мозга 7 носителей этого языка в ответ на продолжительное акустическое предъявление осмысленного нарратива. Вследствие уникальных особенностей этой работы, прежде всего сложных многомерных вычислений, включавших несколько достаточно произвольно выбранных операций уменьшения неопределенности данных, многие вопросы о методологии таких исследований остались без ответа. До сих пор отсутствуют повторения экспериментов A.G. Huth и его коллег другими исследовательскими группами и/или для других языков.

Мы в работе [6] инициировали похожую линию нейролингвистических экспериментов с непрерывными фрагментами русскоязычной устной речи в качестве стимулов и использованием более традиционной методологии когнитивного вычитания. Несмотря на значительный объем полученных данных, нам пока так и не удалось продемонстрировать стабильные различия в интуитивно явно различающихся по семантике текстах. Возможно, это объясняется как концептуальными, так и техническими особенностями наших экспериментов. Во-первых, причиной неудачи может служить общая неприспособленность когнитивного вычитания для картирования высших психологических функций [7, 8]. Во-вторых, причиной может являться использовавшийся стимульный материал, который, в отличие от нарративных текстов A.G. Huth и соавт. [5], не провоцировал со стороны испытуемых сколько-нибудь личностного отношения к описываемым событиям. Наконец, мы использовали в этих экспериментах стандартный протокол фМРТ-сканирования с относительно продолжительным временем повторения (TR), равным 2000 мс; столь низкая временная разрешающая способность метода могла быть недостаточной для измерения потока устной речи.

В настоящей работе мы постарались насколько возможно исправить эти недостатки. Так, использование нового протокола сверхбыстрого многополосного сканирования значительно улучшило временную разрешающую способность метода фМРТ. Сделана также попытка повторить и расширить исследование A.G. Huth и соавт. [5]. Были использованы два подхода к обработке данных. Первый подход (макроанализ) состоял в контрастировании активации мозга при предъявлении трех радикально различных групп текстов, одна из которых содержала описания (из перспективы первого лица) эпизодов жизни с элементами угроз и их разрешением, тогда как две другие состояли из литературных описаний природы и описаний принципов функционирования технических устройств. Второй подход (микроанализ) в основных чертах воспроизводил методологию A.G. Huth и его коллег. В рамках этого подхода мы в качестве основы для количественного описания семантических характеристик учли типичные контексты совместной встречаемости слов в текстах на русском языке.

Материалы и методы

Текстовый материал и его лингвистическая индексация. В качестве стимульного материала мы выбрали и частично создали вновь 15 коротких, до 150 слов, русскоязычных текстов, разделенных на три тематические группы. Первой темой была красота природы: пять текстов представляли собой фрагменты из произведений известных русских писателей (К. Паустовского, И. Тургенева и др.) с описаниями пейзажей, растений и птиц, причем без упоминания каких-либо событий или действий. Вторая тематическая группа состояла из пяти текстов, описывающих простым языком и без чрезмерных терминологических деталей принципы функционирования технических устройств, таких как паровой котел и цилиндрический дверной замок. Последняя группа текстов описывала из перспективы первого лица отчасти драматические обстоятельства современной жизни: пять историй представляли эпизоды жизни одного из авторов данного исследования. Все тексты были начитаны профессиональным диктором (мужчиной) и зафиксированы в аудиозаписи. Тексты были снабжены лингвистической индексацией, которая осуществлялась в следующем порядке: 1 — индексация времени, 2 — лемматизация, 3 — векторизация, 4 — индексация слов-признаков. Ниже кратко описаны все шаги этого процесса.

1. Индексацию времени проводили с помощью программы ELAN (Голландия): для каждого из 2241 слова определяли временные границы в аудиозаписи независимо вручную двумя экспертами и дополнительно перепроверяли в случае расхождения индексов.

2. Слова затем заменяли их лексемами (сказал — сказать, вещи — вещь), чтобы уменьшить вариативность форм, создаваемую богатой морфологией русского языка. Операцию выполняли посредством программы pymorphy2 [9]. Следует отметить, что эта программа не учитывает контекста слов и поэтому не гарантирует правильного выбора лексем в случае омонимов, предлагая лишь список возможных вариантов в порядке убывания вероятности. Контроль правильности автоматического выбора лексемы (лемматизации) осуществлялся профессиональным лингвистом, который исправлял возможные ошибки.

3. Далее для индексации использовали программную систему word2vec [10, 11]. С ее помощью каждому слову был автоматически приписан 300-мерный семантический вектор. Система word2vec использует данные совместной встречаемости слов в Национальном корпусе русского языка и русскоязычной части Википедии, причем, как обычно, семантическая близость любых двух слов определяется величиной косинуса угла между двумя векторами: поскольку семантически близкие слова должны иметь похожий контекст, параметры их векторов также должны быть похожими (рис. 1, табл. 1).

Рис. 1. Пример функции сходства между словами стимульного текста и словом-признаком мир (мир_NOUN)

Сходство системы word2vec достигает 1 в точке, где слово мир встречается в тексте

Таблица 1. Пример стимульной матрицы для группы текстов на тему красоты природы

4. На последнем шаге лингвистической подготовки осуществляли переход от 300-мерного векторного представления слов к 997-мерному представлению в пространстве слов-признаков. Необходимость этой операции объясняется невозможностью содержательной интерпретации отдельных измерений пространства системой word2vec, так как в данной системе это абстрактные математические величины. В качестве слов-признаков были выбраны 498 наиболее часто встречающихся существительных и 499 — глаголов русского языка [12]¹.

¹Первоначально было выбрано по 500 существительных и глаголов, но затем их количество было уменьшено за счет исключения очевидных синонимов.

Соответствие семантики каждого из 2241 слова стимульных текстов каждому из 997 слов-признаков устанавливали с помощью оценки совместной встречаемости в word2vec. В результате формировался набор векторов индексации. Каждый такой вектор представлял собой множество из 997 чисел, которые являлись величиной косинуса угла векторных представлений стимульных слов и слов-признаков. Эти векторные представления объединялись в виде многомерной матрицы с данными о времени появления отдельных слов в аудиозаписи текстов, что и служило исходным материалом для осуществления семантического картирования активности мозга.

Испытуемые. В экспериментах приняли участие 25 человек в возрасте 21–28 лет (среди них 17 женщин). Все они были носителями русского языка, являлись студентами и аспирантами филологического факультета Российского государственного гуманитарного университета, правшами, без известной истории неврологических заболеваний. Каждый из испытуемых дал добровольное информированное согласие на участие в экспериментах. Разрешение на проведение исследования было дано Этическим комитетом Национального исследовательского центра «Курчатовский институт».

Испытуемых просили оставаться в бодрствующем состоянии во время эксперимента и внимательно слушать тексты, чтобы ответить на возможные вопросы об их содержании. Для целей эксперимента было важно убедиться, что испытуемые действительно слушали тексты. Это контролировалось анализом соответствующей активности в слуховых отделах коры. Для дополнительного контроля были подготовлены по одному вопросу к содержанию каждого тематического блока текстов. После предъявления пяти текстов экспериментатор задавал соответствующий вопрос, на который испытуемый давал вслух ответ. После окончания эксперимента испытуемые заполняли анкету, где, в частности, повторялись все заданные вопросы. Испытуемый должен был написать ответы и оценить степень своей уверенности в их правильности. По результатам такого контроля данные четырех испытуемых, давших ошибочные ответы на все вопросы, были исключены из дальнейшего анализа.

План эксперимента. Использовали сбалансированный план, в котором порядок предъявления каждой из групп текстов систематически менялся по схеме латинского квадрата. Внутри блоков порядок отдельных текстов менялся псевдослучайным образом. Перед началом эксперимента проводились измерения индивидуальных анатомических особенностей мозга испытуемых и фМРТ в состоянии покоя. После эксперимента испытуемый отвечал на вопросы специальной анкеты.

Параметры сканирования и предобработка сигнала BOLD. Испытуемого помещали в сканер магнитно-резонансного томографа MAGNETOM Verio 3T (Siemens, Германия) с головной катушкой, имеющей 32 канала, и широким зевом сканера (диаметр — 75 см). При функциональной регистрации нами использовался ультрабыстрый многополосный протокол Multi-band Accelerated EPI Pulse Sequence².

²Протокол измерений Multi-band Accelerated EPI Pulse Sequence был предоставлен в наше распоряжение Центром магнитно-резонансных исследований университета Миннесота (версия 016a от 19.12.2017).

Сканирование осуществляли со следующими параметрами: время повторения TR=1010 мс, время эха TE=33 мс, 56 срезов, толщина среза — 2 мм, пространственное разрешение в каждом срезе — 2×2 мм. Регистрацию функциональных данных проводили, как отмечалось, в условиях покоя (первые 8 мин) и при прослушивании стимульных текстов (примерно 20 мин).

Данные BOLD-ответов испытуемых обрабатывали индивидуально с использованием программного обеспечения SPM8 (Wellcome Trust Centre for Neuroimaging, Великобритания) в MATLAB R2018a (Mathworks, США). Предобработка фМРТ-данных состояла в коррекции вызванных движениями испытуемого искажений, совмещении этих функциональных данных с индивидуальным анатомическим объемом мозга, конвертировании образов в координаты пространства Монреальского неврологического института (MNI) и пространственном сглаживании с гауссовым ядром 8 мм (полная ширина на половине максимума).

Различия сигналов BOLD, обусловленные предъявлением трех тематически отличных групп текстов, изучали путем моделирования ассоциированных с ними гемодинамических ответов. Для каждого испытуемого модели гемодинамических реакций определяли со времени предъявления конкретного слова и типичной задержки функции гемодинамического ответа (HRF, haemodynamic response function), типичный вариант которой показан на рис. 2. Оценку моделей выполняли с помощью программы Restricted Maximum Likelihood Estimation из SPM8 с параметрами амплитуды HRF, ее производных и дисперсии [12, 13]. В случае макроанализа структур мозга, вовлеченных в семантическую обработку тематически отличных текстов, в качестве контроля использовали данные по активности мозга в состоянии покоя. Микроанализ механизмов семантической обработки потока осмысленной речи потребовал осуществления ряда дополнительных операций, которые будут описаны далее.

Рис. 2. Функция гемодинамического ответа (HRF)

Предобработка репрезентаций слов. В результате лингвистической индексации слова из стимульных текстов представлялись как векторы 997-мерного пространства слов-признаков. На этой основе строилась многомерная матрица признаков и временных отрезков предъявления слов: [Признаки × Временные отрезки (Слова)] (см. табл. 1). Была также построена таблица временных отрезков, причем значения в колонках начала и окончания предъявления слов в этой таблице переводились в секунды и усреднялись. Для средних значений далее подсчитывались стандартные z-величины. Поскольку эти оценки не имеют размерности, мы могли соотнести их с сигналом BOLD, для которого также определялась z-метрика. Нами использовалась известная формула вычисления стандартных оценок: z=(x–)/S_x, где — среднее, а S_x— стандартное отклонение.

Для дальнейшей работы нужно было поставить временные ряды семантических векторов в соответствие со временем циклов фМРТ-сканирования (с TR=1,1 с). Для подобного пересчета использовали фильтр Ланцоша (Lanczos filter) (рис. 3) с частотой отсечения, равной частоте Найквиста сбора данных фМРТ. В результате пересчета получено в общей сложности 490 отрезков времени (рис. 4 и 5), которые соответствовали временным сериям циклов фМРТ и примерно 16 мин предъявления стимулов. На последнем этапе предобработки были учтены типичная задержка и нелинейная динамика сигнала BOLD в ответ на стимуляцию. Для аппроксимации HRF было введено 4 задержки измерения: 2, 4, 6 и 8 с после предъявления слова. Соответственно были созданы 4 версии временных рядов для каждого из 997 признаков. После объединения этих версий мы получили 3988 признаков для каждого слова и каждого временного отрезка.

Рис. 3. Функция Ланцоша — см. https://en.wikipedia.org/wiki/Lanczos_resampling

Рис. 4. Временная серия слова-признака «мир_NOUN»

Рис. 5. Временная серия слова друг («друг_NOUN»). Это слово чаще встречается в стимульном материале, чем «мир_NOUN», поэтому наблюдаются отличия от предыдущего графика (см. рис. 4)

Соотнесение стимульных слов с сигналом BOLD. Следующая задача состояла в том, чтобы оценить, как 997 признаков влияют на ответ BOLD в каждом вокселе коры и субкортикальных структур. Другими словами, требовалось предсказание повоксельной активации мозга испытуемых с максимальной корреляцией с реальными данными. Чтобы найти эти воксели, мы применили специально подготовленную маску атласа мозга для всех вокселей нашего набора данных (рис. 6). В маске представлены воксели серого вещества неокортекса обоих полушарий, а также субкортикальных структур, например миндалин. После наложения маски у нас осталось 100 000 вокселей (из первоначального числа 900 000). Временные ряды активации для этих вокселей были линеаризованы и подвергнуты z-трансформации, как это было сделано ранее для стимульных данных.

Рис. 6. Маска атласа мозга, использовавшаяся в этом исследовании

Опишем теперь процедуру регуляризованной линейной регрессии, которая применялась нами для оценки влияния каждого из признаков на каждый воксель. Пусть R_jt — это временной ряд активации j-го вокселя, S_it — временной ряд i-го семантического признака, а β_ji — коэффициент регрессии i-го семантического признака на j-й воксель, t — временной отрезок, тогда R′_jt=Σ_ib_jiS_it. Чтобы найти β, необходимо минимизировать сумму квадратов ошибок:

Эта задача не может быть решена непосредственно, поскольку число признаков (3988) больше числа временных отрезков (490). Она решается с помощью процедуры регуляризации, цель которой состоит в нахождении минимума следующего выражения:

или в матричной записи той же формулы:

где Y — это матрица сигнала BOLD (t×m); X — стимульная матрица (t×p); β — матрица весовых коэффициентов; α — коэффициент регуляризации; t — номер временного отрезка; m — номер вокселя; p — номер признака.

Для нахождения коэффициента α мы использовали метод кросс-валидизации. С этой целью весь массив данных был разделен на две части: в первой части веса оценивались для разных значений α, во второй — результаты тестировались. По результатам этого процесса выбиралось значение α, обеспечивавшее наилучшее предсказание. 490 временных отрезков были разделены следующим образом: первые 350 использовались для создания матрицы весов, а последние 140 — для ее верификации путем нахождения корреляции между временными рядами сигнала BOLD и их предсказанными значениями, полученными в результате перемножения стимульной и весовой матриц. В свою очередь первые 300 из 350 отрезков использовались для нахождения весов для каждого значения α в каждом вокселе, а последние 50 — для нахождения наилучшего значения α для данного вокселя. Эта процедура выполнялась для 500 вокселей и двух наборов значений α (от 1 до 10 и от 10 до 1000). Корреляции для всех вокселей и каждого значения α усреднялись. На рис. 7 показан график эффективности для значений α от 1 до 1000.

Рис. 7. График эффективности для значений α от 1 до 1000

В качестве наилучшего коэффициента регуляризации мы выбрали α=12,7427, поскольку он обеспечивал максимальную корреляцию. Был проведен также сравнительный анализ использования одного α для всех вокселей путем усреднения корреляций для всех вокселей и использования наилучших значений α для каждого вокселя. Соответствующие гистограммы (рис. 8) свидетельствуют, что использование одного α для всех вокселей сдвигает распределение вправо относительно нуля и, следовательно, приводит к лучшим результатам. Поэтому весовые коэффициенты вычислялись при помощи одного значения α (α=12,7427) для всех вокселей.

Рис. 8. Гистограммы корреляций для различных способов выбора α

Следующим шагом стала визуализация реальных временных рядов, предсказанных с помощью вычисленных весовых коэффициентов (рис. 9). Как можно видеть, предсказание изменений сигнала BOLD для коэффициента корреляции 0,3916 оказывается достаточно аккуратным для рассмотренных при тестировании моделей 500 вокселей.

Рис. 9. Предсказанные и реальные временные ряды сигнала BOLD для коэффициента корреляции 0,3916

Проекция моделей в подпространство меньшей размерности. Чтобы найти воксели, наилучшим образом репрезентирующие семантические признаки слов наших стимульных текстов, мы выбрали 10 000 вокселей с максимальной корреляцией. Метод главных компонент (PCA, principal component analysis) применялся к весовым матрицам [Воксели × Признаки]. Перед этим значения признаков на разных фазах гемодинамического ответа усреднялись, т.е. от 3988 признаков мы вновь вернулись к 997. Для выбранных вокселей в пространстве главных компонент были построены матрицы оценок и весов, причем в качестве измерений этого пространства взяты четыре первых фактора PCA. Затем эти данные были кластеризованы с помощью метода k-средних. Для определения оптимального числа кластеров проведена предварительная кластеризация семантических векторов слов-стимулов. Число 15 оказалось оптимальным для решения задачи относительно экономной репрезентации максимального количества семантических областей, представленных в наших стимульных текстах, при одновременной пригодности для комбинации с данными активации сигнала BOLD.

Вслед за этой оценкой мы кластеризовали данные PCA для слов-признаков с помощью метода k-средних, выделив 15 кластеров. Эти кластеры затем были спроецированы на воксели мозга в координатах MNI. Для этой цели использовали весовые матрицы, которые содержат информацию об отношениях признаков и вокселей. При анализе результатов учитывали только те воксели, которые имели максимальные весовые коэффициенты.

Можно ли применить такой подход на индивидуальном уровне, для выявления, например, специфики репрезентации понятия «угроза»? Чтобы ответить на этот вопрос, выбранные точки в четырехмерном пространстве были кластеризованы методом ближайшего соседа на 12 кластеров. Для кластеризации элементов этого пространства выбраны точки, наиболее удаленные от центра множества и имеющие максимальную нагрузку на компоненты, в связи с чем было использовано многократное нахождение выпуклой оболочки случайной 80% выборки точек. Изменение метода кластеризации и уменьшение числа кластеров обусловлено тем обстоятельством, что в данном случае мы работали лишь с текстами из третьей, нар-ративной тематической группы, которые содержали значительно меньшее число слов, чем стимульный материал в целом.

Чтобы определить кластеры с семантикой угрозы, мы с помощью модели word2vec сформировали набор слов русского языка, наиболее близких к слову угроза, в этот набор вошли: опасность, опасение, противодействие, предупреждение, оскорбление, озабоченность, упрек, посягательство, риск, насилие. С помощью этой же модели была найдена близость между словами из кластеров и словами-угрозами. Близость каждого кластера со слова-
ми-угрозами вычислялась как медианное значение показателей близости каждого из слов этого кластера к каждому слову-угрозе. Эти данные были затем подвергнуты экспертной оценке. В качестве эксперта выступил профессиональный лингвист.

Результаты

Чтобы проконтролировать следование инструкции, мы определяли в эксперименте активность слуховой коры испытуемых. Полученные при этом данные показали удовлетворительный уровень вовлеченности слуховой коры в восприятие у всех испытуемых. Помимо нейрофизиологического контроля мы оценивали также правильность ответов испытуемых на контрольные вопросы по содержанию каждой из трех тематических групп текстов. Наиболее точно испытуемые отвечали на вопросы о содержании нарративных текстов. Как отмечалось ранее, данные четырех испытуемых, которые не смогли ответить правильно ни на один из вопросов, были исключены из анализа.

Вследствие довольно высокой интериндивидуальной вариабельности данных результаты макроанализа не выявили систематических групповых различий активации мозга при предъявлении трех тематически различных групп текстов ни при их прямом сравнении, ни при их сопоставлении с индивидуальными данными фМРТ покоя (t-test для парных выборок, SPM). Единственным значимым контрастом была более высокая активация обеих миндалин в случае использования текстов с описанием принципов работы технических устройств (p<0,005, некорректированный).

Более стабильная картина наблюдается при микроанализе данных этого эксперимента, что относится прежде всего к результатам кластеризации данных PCA слов-признаков на 15 кластеров, как описано выше. Выделенные кластеры приведены в табл. 2 вместе с примерами типичных ключевых слов для каждого из кластеров.

Таблица 2. Кластеры векторов 997 слов-признаков в пространстве 4 главных факторов PCA

Последующая повоксельная локализация этих 15 семантических категорий также оказалась достаточно стабильной. Выборка групповых данных такого анализа показана на рис. 10–13. Речь идет о распределении локусов мозговой активности в ответ на слова, относящиеся к категориям «Конфликт», «Ментальное», «Мера» и «Конструкция» соответственно.

Рис. 10. Локализация кластера «Конфликт»

Рис. 11. Локализация кластера «Ментальное»

Рис. 12. Локализация кластера «Мера»

Рис. 13. Локализация кластера «Конструкция»

У каждого испытуемого наблюдается индивидуальная структура множества признаков, а значит, и семантическая репрезентация слов в форме активности отдельных вокселей головного мозга. Это видно в специфике репрезентации понятия «угроза». Покажем эти различия на примере данных двух испытуемых. У испытуемого 1 в кластер, наиболее близкий к словам-угрозам, входят, в частности, следующие слова из исходного стимульного материала: обвинение, доверие, уважение, усилие, победа, освободить, обязанность. Экспертная оценка данного кластера показала, что содержащиеся в нем слова имеют семантику не столько самой угрозы, сколько успешного ее преодоления. Следует отметить также, что у данного испытуемого в анализ не попали такие слова, как угроза, угрожать, война, присутствовавшие в стимульных текстах. Это может говорить о том, что для испытуемого данные слова не вызвали достаточно интенсивного отклика в зарегистрированной мозговой активности. В то же время у испытуемого 2 наиболее близким к словам-угрозам стал кластер, содержащий следующие слова: агрессивный, доминирование, конфронтация, нашествие, противник, уверенность, угрожать. Экспертная оценка данного кластера подтверждает наличие в нем семантики угрозы. Различия в характере восприятия подтверждаются и данными нейросемантического анализа. В обоих случаях отмечается активация префронтальных областей мозга. Однако, если у испытуемого 1 наблюдается билатеральная активация фронтополярных зон коры головного мозга (рис. 14), то у испытуемого 2 эта активация локализована в правой орбитофронтальной области (рис. 15), которая, скорее всего, связана с чисто эмоциональной оценкой [14].

Рис. 14. Картина мозговой активности в ответ на слова, ассоциативно связанные со словом угроза у испытуемого 1

Рис. 15. Картина мозговой активности в ответ на слова, ассоциативно связанные со словом угроза у испытуемого 2

Обсуждение

Как и в более ранних наших исследованиях [6], полученные результаты глобального сравнения активности мозга испытуемых в ответ на предъявление непрерывных сегментов осмысленного текста оказались скорее разочаровавшими. Улучшение регистрации за счет применения сверхбыстрого протокола фМРТ, точно так же, как использование драматического содержания при композиции текстов (т.е. текстов третьей группы с элементами самосознания и преодолением возможной угрозы), не позволили выявить каких-либо систематических различий при макроанализе сематических репрезентаций. Единственным значимым контрастом была активность миндалин, что может быть объяснено ролью этой двойной структуры как части эмоциональной нейросети головного мозга [15] и, возможно, повышенным уровнем тревоги студентов социальных дисциплин при конфронтации с описаниями технических устройств.

В чем же причина повторной неудачи методологии когнитивного вычитания? Критика этой методологии так же стара, как первые хронометрические эксперименты Франца Дондерса. Методология когнитивного вычитания базируется на допущении чистого вхождения, или гипотезе отсутствия взаимодействия между когнитивными компонентами задачи. В когнитивной нейронауке это допущение могло бы работать только в случае строго модульных архитектур. Но даже внутри подобных, довольно редких архитектур недавнее открытие, согласно которому ответ BOLD имеет характер движущейся волны, делает это допущение малополезным [16–18].

Ввиду ограничений методологии когнитивного вычитания вторая линия нашего исследования, которую мы назвали «микроанализом», представляет особый интерес. Она соответствует новейшей тенденции объединять мозговое картирование с исследованиями онтологии [19, 20]. Реконструкция базовых кластеров семантики устного русского языка представляет собой хороший пример, значение которого выходит за рамки конкретной работы. Действительно, из 15 ядерных категорий нашего анализа 6 представляются специфичными для русского языка в смысле отсутствия очевидных аналогов среди 12 кластеров, найденных в английском языке A.G. Huth и соавт. [5]. Поскольку эти кластеры были идентифицированы в активности мозга, можно спекулятивно предположить, что наши испытуемые были особенно чувствительны ко всему, что касается государственного устройства и правительства, истории, судьбы и национальных ценностей, к литературе, а также к различиям между мужчинами и женщинами, причем мужской компонент этого последнего кластера имел сложную структуру, которая включала также медицинскую помощь и духовность. Когда некоторые кластеры обоих языков были похожими, они различались в нюансах. Например, «Конфликт» в нашей онтологии был связан с полномасштабной военной конфронтацией; в случае классификации A.G. Huth и коллег его ассоциированным значением было скорее «Уличное насилие».

Разумеется, следует с осторожностью относиться к подобным спекуляциям, поскольку наши данные отражают реакцию ограниченного числа слушателей на определенный набор текстов. Насколько нам известно, наши результаты по семантическому картированию являются первыми для языка, иного, чем английский. Понятно, что многие из этих результатов требуют перепроверки. Вместе с тем очевидно разительное сходство семантических мозговых репрезентаций в обоих языках. Во-первых, эти репрезентации широко распределены. Это может быть не так заметно в картировании английского языка, где результаты спроецированы на условную поверхность коры [5], но в ряде наших кластеров явно видна вовлеченность глубоких субкортикальных структур, что очевидно в случае таких категорий, как «Конфликт», «Ментальное» и «Социальное». Первые две из приведенных семантических категорий обнаруживают тенденцию к правосторонней латерализации. В этом заключается еще одно сходство с данными англоязычного картирования.

Можно отметить несколько недостатков сегодняшних подходов к микроанализу мозгового картирования семантических репрезентаций. Первым из них является сам контекстный подход к семантике в вычислительной лингвистике, который в конечном счете игнорирует именно контекст. Новые походы в моделировании языка постепенно преодолевают это ограничение [21]. Следующая проблема заключается в произвольности некоторых шагов уменьшения неопределенности семантического картирования. Как альтернативную возможность мы рассматриваем в данной работе замену процедуры вычисления k-средних иерархической агломеративной кластеризацией или, специально, методом ближайшего соседа. Наконец, многомерные подходы к семантическому картированию нередко критикуются за логическую циркулярность: сначала регулярность языка де-факто встраивается в конструкцию языковых признаков-векторов, а затем обнаруживается в речевых репрезентациях, вычисленных при помощи векторов, которые построены с помощью тех же признаков. Подобно нашим североамериканским коллегам [22], мы полагаем, что эта кажущаяся циркулярность неизбежна в экологически валидных исследованиях, поскольку регулярность языка (и мира, который она отражает) формирует процессы и корреляции мозговой обработки.

Результаты проведенного нами исследования демонстрируют обоснованность разработанного микроструктурного метода нейросемантического картирования. Новый метод позволяет успешно локализовать мозговые механизмы семантической обработки и описать индивидуальные различия в восприятии информации об угрозах, содержащейся в относительно небольших по объему текстах. В частности, значительный интерес представляют данные повоксельного анализа мозговой локализации процессов восприятия угроз разного рода, которые впервые можно сравнить с потоком естественного стимульного нарратива. Следует, наконец, отметить, что обнаруженная широкая репрезентация семантических категорий в структурах мозга ранее отмечалась в экспериментальных работах [23] и предсказывалась теоретически [24].

Заключение

Это первое сообщение об использовании модели семантики, основанной на встречаемости слов в тексте, в ходе нейросемантического исследования на русском языке. В сравнении с более традиционным когнитивным вычитанием разработанный подход позволяет получить более стабильные данные, особенно в отношении распределения семантических категорий в мозге. Можно увидеть некоторые различия и сходство этого распределения в русском и английском языках [5]. Прежде всего, оно охватывает не только кортикальные, но и субкортикальные структуры. Далее, некоторые из категорий у значительной части испытуемых демонстрируют правостороннюю латерализацию. Этот результат имеет большое значение: он еще раз не подтвердил монополию левого полушария в обработке речи.

Несмотря на возможные недостатки исследования, главный вывод нашей работы заключается в том, что методология нейролингвистики и новой науки о научных основах интерсубъективности быстро развивается [20, 25]. На столь раннем этапе исследований было бы неверно полностью отказываться даже от старомодного когнитивного вычитания. Возможно, в будущих исследованиях микроанализ и макроанализ могут быть объединены в своего рода мезоуровневый подход. Релевантным примером этого является развитие нарратива, имеющего выраженный личностный смысл, когда вначале угрожающая ситуация после разрешения нормализуется. В таких сложных текстах контраст семантических репрезентаций до, во время и после разрешения конфликта имел бы значительный научный интерес.

Благодарности. Авторы выражают свою благодарность А. Хуту и Д. Галланту за обсуждение проблемы латерализации в нейролингвистических работах и сотрудникам суперкомпьютерного отделения Национального исследовательского центра «Курчатовский институт» за помощь на разных этапах данного исследования.

Финансовая поддержка. Эта работа частично поддержана Российским научным фондом, грант RScF 17-78-30029.

Конфликт интересов. Авторы подтверждают отсутствие конфликтов интересов в данном исследовании.

Литература

Standing L. Learning 10000 pictures. Q J Exp Psychol 1973; 25(2): 207–222, https://doi.org/10.1080/14640747308400340.
Velichkovsky B.M. Visual cognition and its spatiotemporal context. In: Klix F., Hoffmann J., van der Meer E. (editors). Cognitive research in psychology. North Holland, Amsterdam; 1982; p. 63–79.
Brady T.F., Konkle T., Alvarez G.A., Oliva A. Visual long-term memory has a massive storage capacity for object details. Proc Natl Acad Sci U S A 2008; 105(38): 14325–14329, https://doi.org/10.1073/pnas.0803390105.
Warrington E.K. The selective impairment of semantic memory. Q J Exp Psychol 1975; 27(4): 635–657, https://doi.org/10.1080/14640747508400525.
Huth A.G., de Heer W.A., Griffiths T.L., Theunissen F.E., Gallant J.L. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature 2016; 532(7600): 453–458, https://doi.org/10.1038/nature17637.
Ushakov V.L., Orlov V.A., Kartashov S.I., Malakhov D.G., Korosteleva A.N., Skiteva L.I., Zaidelman L.Ya., Zinina A.A., Zabotkina V.I., Velichkovsky B.M., Kotov A.A. Contrasting human brain responses to literature descriptions of nature and to technical instructions. In: Kryzhanovsky B., Dunin-Barkowski W., Redko V., Tiumentsev Y. (editors). Advances in neural computation, machine learning, and cognitive research II. Neuroinformatics 2018. Studies in Computational Intelligence. Vol. 799. Springer, Cham; 2018; p. 284–290, https://doi.org/10.1007/978-3-030-01328-8_34.
Friston K.J. Imaging neuroscience: principles or maps? Proc Natl Acad Sci U S A 1998; 95(3): 796–802, https://doi.org/10.1073/pnas.95.3.796.
Friston K.J., Price C.J., Fletcher P., Moore C., Frackowiak R.S., Dolan R.J. The trouble with cognitive subtraction. Neuroimage 1996; 4(2): 97–104, https://doi.org/10.1006/nimg.1996.0033.
Korobov M. Morphological analyzer and generator for Russian and Ukrainian languages. In: Khachay M., Konstantinova N., Panchenko A., Ignatov D., Labunets V. (editors). Analysis of images, social networks and texts. AIST 2015. Communications in computer and information science. Vol. 542. Springer, Cham; 2015; p. 320–332, https://doi.org/10.1007/978-3-319-26123-2_31.
Mikolov T., Chen K., Corrado G., Dean J. Efficient estimation of word representations in vector space. In: Proceedings of the 1st International Conference on Learning Representations (ICLR 2013). USA; 2013; p. 1–12.
Kutuzov A., Kuzmenko E. WebVectors: a toolkit for building web interfaces for semantic vector models. In: Analysis of images, social networks and texts. AIST 2016. Communications in computer and information science. Vol. 661. Springer, Cham; 2017; p. 155–161, https://doi.org/10.1007/978-3-319-52920-2_15.
Ляшевская О.Н., Шаров С.А. Частотный словарь современного русского языка (на материалах Национального корпуса русского языка). M: Азбуковник; 2009.
Marsman J.B., Renken R., Velichkovsky B.M., Hooymans J.M.M., Cornelissen F.W. Fixation based event-related (FIBER) analysis: using eye fixations as events in functional magnetic resonance imaging (fMRI) to reveal cortical processing during the free exploration of visual images. Hum Brain Mapp 2012; 33(2): 307–318, https://doi.org/10.1002/hbm.21211.
Velichkovsky B.M., Korosteleva A.N., Pannasch S., Helmert J.R., Orlov V.A., Sharaev M.G., Velichkovsky B.B., Ushakov V.L. Two visual systems and their eye movements: a fixation-based event-related experiment with ultrafast fMRI reconciles competing views. Sovremennye tehnologii v medicine 2019; 11(4): 7–18, https://doi.org/10.17691/stm2019.11.4.01.
Kerestes R., Chase H.W., Phillips M.L., Ladouceur C.D., Eickhoff S.B. Multimodal evaluation of the amygdala’s functional connectivity. Neuroimage 2017; 148: 219–229, https://doi.org/10.1016/j.neuroimage.2016.12.023.
Aquino K.M., Schira M.M., Robinson P.A., Drysdale P.M., Breakspear M. Hemodynamic traveling waves in human visual cortex. PLoS Comput Biol 2012; 8(3): e1002435, https://doi.org/10.1371/journal.pcbi.1002435.
Alexander D.M., Trengove C., van Leeuwen C. Donders is dead: cortical traveling waves and the limits of mental chronometry in cognitive neuroscience. Cogn Process 2015; 16(4): 365–375, https://doi.org/10.1007/s10339-015-0662-4.
Verkhlyutov V.M., Balaev V.V., Ushakov V.L., Velichkovsky B.M. A novel methodology for simulation of EEG traveling waves on the folding surface of the human cerebral cortex. In: Kryzhanovsky B., Dunin-Barkowski W., Redko V., Tiumentsev Y. (editors). Advances in neural computation, machine learning, and cognitive research II. Neuroinformatics 2018. Studies in computational intelligence. Vol. 799. Springer, Cham; 2019; p. 51–63, https://doi.org/10.1007/978-3-030-01328-8_4.
Poldrack R.A., Yarkoni T. From brain maps to cognitive ontologies: informatics and the search for mental structure. Annu Rev Psychol 2016; 67: 587–612, https://doi.org/10.1146/annurev-psych-122414-033729.
Nastase S.A., Gazzola V., Hasson U., Keysers C. Measuring shared responses across subjects using intersubject correlation. Soc Cogn Affect Neurosci 2019; 14(6): 667–685, https://doi.org/10.1093/scan/nsz037.
Shailee J., Huth A.G. Incorporating context into language encoding models for fMRI. In: Proceeding of the 32nd Conference on Neural Information Processing Systems (NeurIPS). Canada; 2018; p. 6629–6638, https://doi.org/10.1101/327601.
Hamilton L.S., Huth A.G. The revolution will not be controlled: natural stimuli in speech neuroscience. Lang Cogn Neurosci 2018; 1–10, https://doi.org/10.1080/23273798.2018.1499946.
Ojemann G.A. Models of the brain organization for higher integrative functions derived with electrical stimulation techniques. Hum Neurobiol 1982; 1(4): 243–249.
Fodor J.A. Modularity of mind. Cambridge, MA: MIT Press; 1985.
Величковский Б.М. Нейросемантика — новое направление междисциплинарных когнитивных исследований. Вопросы психологии 2019; 64(6): 3–18.