Прогнозирование послеоперационных речевых дисфункций в нейрохирургии по данным кортико-кортикальных вызванных потенциалов на основе машинного обучения
Интраоперационная регистрация кортико-кортикальных вызванных потенциалов (ККВП) позволяет исследовать эффективные связи между функциональными зонами коры головного мозга. Принципиальная возможность прогноза послеоперационных речевых дисфункций в нейрохирургии по изменениям сигнала ККВП может послужить основанием для разработки критериев физиологической дозволенности удаления внутримозговых опухолей с целью максимального сохранения качества жизни пациентов.
Цель исследования — проверить гипотезу о возможности прогнозирования послеоперационных речевых нарушений у пациентов с глиальными опухолями головного мозга по данным ККВП, зарегистрированных интраоперационно до этапа удаления опухоли.
Материалы и методы. Данные ККВП были зарегистрированы у 26 пациентов. Для прогнозирования усугубления состояния речевых функций в послеоперационном периоде использовали 4 варианта представления данных ККВП до основного этапа операции и несколько моделей машинного обучения: случайный лес деревьев решений, логистическую регрессию, метод опорных векторов с различными вариантами ядер: линейным, радиальным и полиномиальным. Было обучено 20 вариантов моделей: каждая — в 300 экспериментах с ресемплированием. Всего в исследовании выполнено 6000 тестов.
Результаты. Показатели качества прогноза для каждой модели, обученной в 300 тестах с ресемплированием, усреднялись по всем метрикам для исключения влияния «удачного» и «неудачного» разделения данных. Лучший результат по метрике F1-score составил 0,638 у модели, построенной при помощи метода опорных векторов с полиномиальным ядром. В большинстве тестов наблюдался высокий показатель чувствительности, а у лучшей модели он достиг значения 0,993. При этом специфичность лучшего решения составила 0,370.
Заключение. В рамках пилотного исследования продемонстрирована возможность прогнозирования речевой дисфункции по данным ККВП до основного этапа резекции глиальных опухолей с помощью традиционных методов машинного обучения. Лучшая модель при высокой чувствительности оказалась недостаточно специфичной. Дальнейшие исследования будут направлены на оценку динамики ККВП в процессе операции и ее связь с развитием послеоперационного речевого дефицита.
Введение
Одной из основных задач современной науки о мозге является определение структурных и функциональных нейронных сетей, реализующих когнитивные функции человека. Их интраоперационное определение и сохранение — сложнейшая и не до конца решенная задача нейрохирургии внутримозговых опухолей. Анализ внутримозговых связей приобрел самостоятельное значение как относительно новая область исследований, называемая Brain Connectomics (наука о связях, или коннектомика мозга) [1].
Коннектомика рассматривает головной мозг как сложную совокупность элементов (кортикальных областей, подкорковых ядер), объединенных тремя видами связей — структурными, функциональными и эффективными.
Эффективная связь — направленный поток информации между нервными структурами [2, 3], определяющий их взаимоотношения как систему «источник–приемник сигнала». Прижизненное исследование эффективных связей является сложной междисциплинарной проблемой, для решения которой проводят интраоперационную регистрацию кортико-кортикальных вызванных потенциалов (ККВП) [4].
В настоящей работе для решения задачи прогнозирования ухудшения речевых функций в раннем послеоперационном периоде были проанализированы ККВП, зарегистрированные во время операций по удалению глиальных опухолей мозга. Проверяемая нами гипотеза состояла в том, что показатели ККВП до основного этапа хирургического вмешательства могут служить предикторами развития послеоперационных речевых нарушений. Подтверждение данной гипотезы может явиться основанием для разработки критериев физиологической дозволенности удаления внутримозговых опухолей с целью максимального сохранения качества жизни пациентов.
Материалы и методы
В проспективное исследование последовательно включали пациентов с внутримозговыми опухолями, которые располагались в доминантном по речи полушарии — в непосредственной близости к речевым центрам Брока и/или Вернике, при этом их медиальная часть, по данным предоперационной МРТ-трактографии, распространялась до волокон дугообразного пучка.
Перед операцией все больные были обследованы на томографе Signa HDxt 3.0T (GE Healthcare, США). Протокол МРТ-обследования включал МРТ в стандартных режимах (T1-ВИ, T1 + C, 3D-T1-ВИ, T2-FLAIR, ДВИ), МРТ-трактографию и фМРТ.
До операции и через 7 дней после нее проводили неврологический и нейропсихологический осмотры по методу Лурия. Оценивали сохранность функции речи.
Микрохирургическое удаление опухоли выполняли с использованием метода краниотомии (пациент оставался в сознании) по протоколу мониторируемой седации. Исследование проведено в соответствии с принципами Хельсинкской декларации (2013), от каждого пациента получено информированное согласие.
Регистрация ККВП. Интраоперационную регистрацию ККВП [5–7] выполняли при помощи 32-канальной системы интраоперационного мониторинга «Нейро-ИОМ» (ИОМ — сокращение от «интраоперационный нейрофизиологический мониторинг», ООО «Нейрософт», Россия) и пары субдуральных электродов-полосок. Зарегистрированные показатели ККВП передавались для обработки в оригинальное программное обеспечение. Разработчиком программного обеспечения также являлось ООО «Нейрософт», что гарантировало полную совместимость между системами и форматами данных.
Один электрод устанавливали в лобную речевую область (зона Брока), второй — на поверхности верхней височной извилины в ее задних отделах и на супрамаргинальной извилине.
Регистрацию ККВП до и после резекции опухоли проводили путем усреднения вызванных ответов (30–50 стимулов в каждой сессии) с эпохой анализа электрокортикограммы 300 мс начиная с момента стимула. Для подтверждения воспроизводимости ответа каждый раз регистрировали не менее двух усредненных кривых.
Электрокортикографию (ЭКоГ) выполняли с частотой квантования 20 кГц. Пропускные фильтры были установлены в рамках 5–1000 Гц. Регистрацию проводили в монополярном режиме с контактов субдурального электрода, в качестве референта использовали спиральный подкожный электрод, установленный в области контралатерального сосцевидного отростка или в лобной области.
Электростимуляцию коры осуществляли в условиях биполярного монтажа с двух прилежащих контактов субдурального электрода. Режим стимуляции включал одиночные прямоугольные бифазные импульсы постоянного тока длительностью 300 мкс и частотой 1 Гц. Интенсивность стимуляции поднимали постепенно, начиная с 2 мА, до появления парафазических явлений или регистрации эпилептиформных паттернов на ЭКоГ. Как правило, наиболее эффективным был диапазон интенсивности 3–4 мА.
Описание данных. Интраоперационно были получены ККВП у 26 пациентов. У 14 пациентов эти ККВП исследовали до и после основного этапа хирургического вмешательства, у остальных 12 человек — только до основного хирургического вмешательства. Каждое исследование ККВП сохраняли в отдельном файле формата European Data Format (EDF), который включал в себя данные кривых ЭКоГ в 8 или 16 каналах. Количество исследований для каждого пациента не было ограниченным — встречалось от 2 до 16 исследований ККВП для одного пациента.
Полученный таким образом датасет с исследованиями 26 пациентов состоял из множества файлов (n=268, 1 файл на каждое исследование), из которых 216 содержали данные ККВП до хирургического вмешательства, а 52 — после него (рис. 1). Все полученные данные были проанализированы независимо друг от друга двумя нейрофизиологами для оценки качества записей кривых ЭКоГ. Затем они были разделены на пригодные для дальнейшего анализа программными средствами и на непригодные. После отсеивания некачественных записей кривых осталось 138 исследований, из них 105 описывали данные ККВП до хирургического вмешательства и 33 — после него.
Рис. 1. Количество исследований ККВП до и после хирургического вмешательства: а — до скрининга датасета нейрофизиологами; б — после скрининга датасета нейрофизиологами |
Количество исследований каждого пациента отображено на рис. 2. В связи с небольшим числом полных наборов данных (до и после вмешательства) на данном этапе работы мы ограничились анализом исключительно дооперационных ККВП (n=105).
Рис. 2. Количество исследований у каждого пациента |
Предобработка сигнала. Для запуска процедуры записи ККВП выполняли одиночную стимуляцию на протяжении 300 мкс. Длительность записи сигнала после стимуляции равнялась 300 мс. Аналоговый сигнал преобразовывался в цифровой с частотой дискретизации 25 000 значений в секунду, следовательно, каждый сигнал состоял из 7500 дискретных значений.
Одно исследование пациента включало в себя данные ЭКоГ в 8 или 16 каналах. Данные по каждому исследованию преобразовывали в одинаковый формат. Бóльшая часть кривых являлась импульсным шумом с минимальной амплитудой колебания сигнала, поэтому было принято решение рассматривать канал с наибольшей амплитудой колебаний сигнала.
Перед определением канала с наибольшей амплитудой сигнала данные усреднялись и сглаживались. Вектор из 7500 значений был разделен на 300 равных частей, по 25 чисел в каждой. Средние значения на основе каждых 25 чисел сформировали новый вектор, состоящий из 300 средних значений. Полученные по каждому пациенту векторы имели резкие скачки значений (спайки) на протяжении всего сигнала. Для сглаживания значений был применен метод скользящего среднего с окном n=20. Таким образом, первые 20 мс сигнала использовались для вычисления первого значения сглаженного сигнала. Это также позволило существенно сократить число артефактов записей. Если у сглаженных значений наблюдались артефакты, они автоматически удалялись на основе сравнения с амплитудой оставшейся части сигнала, умноженной на 1,25. В случае превышения этого значения стартовый индекс сдвигался максимум на 10 значений вправо. Кроме того, стартовый индекс сигнала всегда увеличивался на 1 мс, даже если артефакт не наблюдался, чтобы исключить влияние первой миллисекунды сигнала. Примеры усредненных и сглаженных сигналов приводятся на рис. 3.
Новые усредненные и сглаженные векторы сравнивали между собой по амплитуде колебаний, затем избирали сигнал с наибольшей амплитудой. Отобранные сигналы имели различную длительность — из-за сдвига стартового индекса. Были применены методы анализа временны´х рядов и расчеты показателей, не зависящих от длины сигнала.
Генерация описательных признаков сигналов. Изначальные описательные признаки сигналов определили после консультации с врачом-экспертом. Эти признаки, используемые врачами-нейрофизиологами для описания исследований ККВП, включали в себя амплитуду сигнала, тип волны, латентность до пикового (положительного или отрицательного) значения [5, 8, 9]. По каждому пациенту врач-эксперт давал характеристику речевых дисфункций до и после хирургического вмешательства.
Для каждого отдельного исследования вычисляли максимальную амплитуду сигнала одного из 8 или 16 каналов, среднюю амплитуду по всем каналам, а также минимальную амплитуду сигнала одного из 8 или 16 каналов. Дальнейшие вычисления проводили для избранного канала с наибольшей амплитудой.
По всем значениям в сигнале вычисляли среднее и использовали как дополнительный признак. Среднее принимало как положительные, так и отрицательные значения. Предполагалось, что этот показатель оказывает влияние на качество классификации.
Определение пиковых значений (локальных экстремумов) проводили при помощи программного пакета SciPy для языка Python 3.8.5. Встроенная функция вычисляла локальные экстремумы с минимальной дистанцией между пиками 20 мс и минимальной высотой пика 5 мкВ, что позволило выделить экстремумы с большей точностью. На рис. 3 зелеными отметками-крестами обозначены максимумы, а красными — минимумы. Для анализа использовали до 2 значений максимумов и до 2 значений минимумов. Отсутствующие значения экстремумов заполняли двумя способами: нулями или средними значениями отношений первого пика, умноженного на амплитуду для первого пика к амплитуде, а для второго пика — средними значениями отношений второго пика к первому, умноженных на значение первого пика. Заполнение недостающих значений нулями приводило к более высокому качеству классификации.
Дополнительно по каждому избранному сигналу проводили расширенный тест Дики–Фуллера для определения стационарности временнóго ряда. Полученные в результате теста p-значения сравнивали с критическими уровнями значимости и использовали в качестве признака для моделей. Данные расширенного теста Дики–Фуллера не были включены в финальные модели, все временные ряды оказались нестационарными.
После вычисления всех признаков к данным применяли метод нормализации MinMaxScaler из пакета sklearn, который преобразовывал значения в новый диапазон от 0 до 1 для уменьшения размерности данных.
В настоящем исследовании решались задачи бинарной классификации. На основе изменения совокупной оценки речевых функций пациента после хирургического вмешательства формировали целевую переменную, которая принимала значение от 0 до 45 (0 — норма). Бинарная целевая переменная принимала значение 1, если оценка речевых функций ухудшалась после операции, и значение 0, если оценка речевых функций улучшалась или оставалась равной оценке до хирургического вмешательства (рис. 4).
Рис. 4. Изменение речевой функции пациентов после хирургического вмешательства |
Математические модели для прогнозирования. Для прогнозирования усугубления состояния речевых функций в послеоперационном периоде использовали несколько моделей машинного обучения: случайный лес деревьев решений (Random Forest, RF), логистическую регрессию (Logistic Regression, LR), метод опорных векторов (Support Vector Machine, SVM) с различными вариантами ядер: линейным, радиальным и полиномиальным (Linear, Lin; Radial Basis Function, RBF; Polynomial, Poly).
Каждый тест проводили после случайного разделения данных на обучающую (80%) и тестовую (20%) выборки со стратификацией. Модель обучали на выборке для обучения, для оценки модели перед проверкой на тестовой выборке применяли 5-блочную кросс-валидацию (Cross-Validation, CV).
Разделение данных на тестовую и обучающую выборки проводили двумя различными способами. В первом способе разделение происходило на всем объеме исследований (n=105), т.е. осуществлялось по исследованиям. Во втором способе разделение происходило так, что исследования одного пациента попадали только в одну выборку. Таким образом, если у пациента было 6 исследований, все они попадали только в выборку для обучения или в выборку для теста. Данный вариант разделения данных по пациентам был предложен исходя из предположения, что исследования одного пациента схожи друг с другом и могут способствовать переобучению модели машинного обучения.
Всего было протестировано 4 варианта входных данных:
1) разделение данных по исследованиям с заполнением недостающих значений средними значениями;
2) разделение данных по исследованиям с заполнением недостающих значений нулями;
3) разделение данных по пациентам с заполнением недостающих значений средними значениями;
4) разделение данных по пациентам с заполнением недостающих значений нулями.
Для всех вариантов входных данных проводили серии тестов для каждой из 5 моделей машинного обучения. 20 вариантов моделей были обучены по 300 раз в рамках серий тестов, что привело к итоговому количеству тестов, равному 6000.
Результаты
Для оценки результатов тестов использовали типовые метрики: точность на валидационных выборках в рамках кросс-валидации (CV), специфичность и чувствительность (Spec и Sens соответственно), доля правильных ответов классификатора (Acc), точность и полнота (Prec и Rec соответственно), F-мера (F1-score) и площадь под ROC-кривой (Area Under Curve, AUC).
Результаты для каждой серии, состоящей из 300 тестов, усреднялись по всем метрикам для исключения влияния удачного и неудачного разделения данных.
Результаты тестов, проведенных для первых двух вариантов входных данных, представлены в табл. 1. Сравнение по F-мере показывает, что у 3 из 5 моделей наблюдалось улучшение качества классификации при заполнении недостающих значений нулями.
Таблица 1. Результаты классификации с разделением данных по исследованиям |
Для 3-го и 4-го вариантов входных данных мы использовали разделение по пациентам — все исследования каждого отдельно взятого пациента попадали в одну из двух выборок: обучающую или тестовую (табл. 2).
Таблица 2. Результаты классификации с разделением данных по пациентам |
Сравнение по F-мере показывает улучшение качества классификации для всех 5 моделей при заполнении недостающих значений нулями.
Результаты классификации при разделении по пациентам (см. табл. 2) существенно ниже результатов с разделением данных по исследованиям (см. табл. 1), что говорит о наличии фактора переобучения моделей. Результаты в табл. 1 не рассматривались при финальном сравнении с результатами других моделей.
Лучший результат по метрике F1-score составил 0,638 у модели SVM (Poly) при заполнении недостающих значений в данных нулями.
В большинстве тестов наблюдался высокий показатель чувствительности, а у лучшей модели SVM (Poly) он достиг 0,993. Таким образом, модель делала корректные предсказания у 99,3% пациентов с ухудшением речевых функций после хирургического вмешательства. В то же время моделью были корректно определены лишь 37% пациентов с улучшением/сохранением речевых функций. Несмотря на то, что определение пациентов с риском ухудшения речевых функций является первоочередной задачей, отнесение части пациентов с улучшением речевых функций в зону риска снизило общую точность работы алгоритма.
Обсуждение
Попытки определить реакцию коры (локальный кортикальный ответ) и других структур головного мозга на стимуляцию одиночным электрическим стимулом предпринимались начиная с 60-х гг. XX в. и были выполнены преимущественно в исследованиях на животных [10–12].
В конце 80-х и начале 90-х гг. были опубликованы первые единичные работы, посвященные изучению функциональных связей височной и лимбической долей с помощью вызванных электрических потенциалов [13, 14]. В этих работах исследовался ответ, вызванный стимуляцией мозговых структур на отдалении от места приложения тока, что делало возможным изучение связей отдаленных друг от друга участков головного мозга.
В начале XXI в. независимо друг от друга в Кливлендской клинике [15], Университете Айовы [16] и Лондонском Королевском колледже [17] ученые продолжили разрабатывать методы стимуляции коры головного мозга одиночным импульсом, а также методы анализа вызванных потенциалов. Эти работы возродили научный интерес к исследованию сигналов, которые в современной литературе наиболее часто называются термином, введенным учеными из Кливленда, — «кортико-кортикальные вызванные потенциалы» [15].
В настоящей работе были рассмотрены методы прогнозирования ухудшения или улучшения/отсутствия изменений речевых функций в послеоперационном периоде при помощи алгоритмов машинного обучения. Проведенный нами анализ литературы свидетельствует, что это — первое исследование, в котором для прогнозирования ухудшения или улучшения речевых функций на основе данных ККВП применялись методы машинного обучения.
По данным немногочисленной литературы, в анализе данных ККВП исследователи опираются на такие параметры, как амплитуда колебаний значений и латентность до пикового значения сигнала [5, 8, 9, 18, 19]. В дополнение к этим параметрам мы добавили среднее по всем значениям сигнала, латентность до пиковых состояний сигналов (локальных экстремумов) и их показатели в микровольтах.
Методы предобработки и преобразования сигнала могут быть расширены для добавления новых признаков в модели, а также для создания новых моделей, основанных на этих подходах. В будущем целесообразно рассмотреть методы сингулярного спектрального анализа [20, 21], применение вейвлет-преобразований [22], преобразований Гильберта–Хуанга [23] и другие методы работы с временными рядами [24, 25].
Ограничениями данного исследования являются относительно малый объем выборки (n=26) и отсутствие у всех пациентов записей кривых ККВП после хирургического вмешательства. Увеличение количества пациентов может привести к более высокому качеству классификации.
Наш подход к классификации заключался в прогнозировании бинарной целевой переменной: ухудшения или улучшения речевых функций. Это позволило разделить выборку с меньшим возможным дисбалансом (см. рис. 4) по сравнению с разбивкой целевой переменной на несколько категорий по степени речевых нарушений (в последнем случае наблюдается выраженный дисбаланс между классами). При увеличении количества пациентов с различными оценками речевых дисфункций станет возможна классификация случаев речевых дисфункций и по тяжести нарушений.
Наша дальнейшая работа будет связана с тестированием новых методов прогнозирования речевых нарушений, добавлением новых описательных признаков в существующие модели, а также с разработкой новых моделей машинного обучения, в том числе ансамблевых.
Заключение
В рамках пилотного исследования продемонстрировано качество прогнозирования речевой дисфункции после нейрохирургического вмешательства в речевой зоне по данным кортико-кортикальных вызванных потенциалов, зарегистрированных до основного этапа операции, с помощью традиционных методов машинного обучения. Своевременная детекция предвестников речевой дисфункции по данным кортико-кортикальных вызванных потенциалов может существенно повлиять на результаты хирургического лечения в этой функционально важной зоне.
Финансирование. Исследование выполнено при поддержке гранта Российского фонда фундаментальных исследований №19-29-01231 мк.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Литература
- Sporns O. The human connectome: a complex network. Ann N Y Acad Sci 2011; 1224: 109–125, https://doi.org/10.1111/j.1749-6632.2010.05888.x.
- Leisman G., Moustafa A.A., Shafir T. Thinking, walking, talking: integratory motor and cognitive brain function. Front Public Health 2016; 4: 94, https://doi.org/10.3389/fpubh.2016.00094.
- Kunieda T., Yamao Y., Kikuchi T., Matsumoto R. New approach for exploring cerebral functional connectivity: review of cortico-cortical evoked potential. Neurol Med Chir (Tokyo) 2015; 55(5): 374–382, https://doi.org/10.2176/nmc.ra.2014-0388.
- Matsumoto R., Nair D.R., LaPresto E., Bingaman W., Shibasaki H., Lüders H.O. Functional connectivity in human cortical motor system: a cortico-cortical evoked potential study. Brain 2007; 130(Pt 1): 181–197, https://doi.org/10.1093/brain/awl257.
- Быканов А.Е., Пицхелаури Д.И., Титов О.Ю., Лин М.Ч., Гулаев Е.В., Огурцова А.А., Маряшев С.А., Жуков В.Ю., Буклина С.Б., Лубнин А.Ю., Бешплав Ш.Т., Конакова Т.А., Пронин И.Н. Интраоперационное картирование речевой зоны Брока методом регистрации кортико-кортикальных вызванных потенциалов. Вопросы нейрохирургии имени Н.Н. Бурденко 2020; 84(6): 49–58, https://doi.org/10.17116/neiro20208406149.
- Yamao Y., Matsumoto R., Kikuchi T., Yoshida K., Kunieda T., Miyamoto S. Intraoperative brain mapping by cortico-cortical evoked potential. Front Hum Neurosci 2021; 15: 635453, https://doi.org/10.3389/fnhum.2021.635453.
- Tamura Y., Ogawa H., Kapeller C., Prueckl R., Takeuchi F., Anei R., Ritaccio A., Guger C., Kamada K. Passive language mapping combining real-time oscillation analysis with cortico-cortical evoked potentials for awake craniotomy. J Neurosurg 2016; 125(6): 1580–1588, https://doi.org/10.3171/2015.4.jns15193.
- Saito T., Tamura M., Muragaki Y., Maruyama T., Kubota Y., Fukuchi S., Nitta M., Chernov M., Okamoto S., Sugiyama K., Kurisu K., Sakai K.L., Okada Y., Iseki H. Intraoperative cortico-cortical evoked potentials for the evaluation of language function during brain tumor resection: initial experience with 13 cases. J Neurosurg 2014; 121(4): 827–838, https://doi.org/10.3171/2014.4.jns131195.
- Kubota Y., Enatsu R., Gonzalez-Martinez J., Bulacio J., Mosher J., Burgess R.C., Nair D.R. In vivo human hippocampal cingulate connectivity: a corticocortical evoked potentials (CCEPs) study. Clin Neurophysiol 2013; 124(8): 1547–1556, https://doi.org/10.1016/j.clinph.2013.01.024.
- Tielen A.M., Lopes da Silva F.H., Mollevanger W.J. Differential conduction velocities in perforant path fibres in guinea pig. Exp Brain Res 1981; 42(2): 231–233, https://doi.org/10.1007/bf00236913.
- Andersen P., Holmqvist B., Voorhoeve P.E. Excitatory synapses on hippocampal apical dendrites activated by entorhinal stimulation. Acta Physiol Scand 1966; 66(4): 461–472, https://doi.org/10.1111/j.1748-1716.1966.tb03224.x.
- Gloor P., Vera C.L., Sperti L. Electrophysiological studies of hippocampal neurons. III. Responses of hippocampal neurons to repetitive perforant path volleys. Electroencephalogr Clin Neurophysiol 1964; 17: 353–370, https://doi.org/10.1016/0013-4694(64)90158-0.
- Wilson C.L., Isokawa M., Babb T.L., Crandall P.H. Functional connections in the human temporal lobe. I. Analysis of limbic system pathways using neuronal responses evoked by electrical stimulation. Exp Brain Res 1990; 82(2): 279–292, https://doi.org/10.1007/bf00231248.
- Rutecki P.A., Grossman R.G., Armstrong D., Irish-Loewen S. Electrophysiological connections between the hippocampus and entorhinal cortex in patients with complex partial seizures. J Neurosurg 1989; 70(5): 667–675, https://doi.org/10.3171/jns.1989.70.5.0667.
- Matsumoto R., Nair D.R., LaPresto E., Najm I., Bingaman W., Shibasaki H., Lüders H.O. Functional connectivity in the human language system: a cortico-cortical evoked potential study. Brain 2004; 127(Pt 10): 2316–2330, https://doi.org/10.1093/brain/awh246.
- Howard M.A., Volkov I.O., Mirsky R., Garell P.C., Noh M.D., Granner M., Damasio H., Steinschneider M., Reale R.A., Hind J.E., Brugge J.F. Auditory cortex on the human posterior superior temporal gyrus. J Comp Neurol 2000; 416(1): 79–92, https://doi.org/10.1002/(sici)1096-9861(20000103)416:179::aid-cne63.0.co;2-2.
- Valentín A., Anderson M., Alarcón G., Seoane J.J., Selway R., Binnie C.D., Polkey C.E. Responses to single pulse electrical stimulation identify epileptogenesis in the human brain in vivo. Brain 2002; 125(Pt 8): 1709–1718, https://doi.org/10.1093/brain/awf187.
- Conner C.R., Ellmore T.M., DiSano M.A., Pieters T.A., Potter A.W., Tandon N. Anatomic and electro-physiologic connectivity of the language system: a combined DTI-CCEP study. Comput Biol Med 2011; 41(12): 1100–1109, https://doi.org/10.1016/j.compbiomed.2011.07.008.
- Silverstein B.H., Asano E., Sugiura A., Sonoda M., Lee M.H., Jeong J.W. Dynamic tractography: integrating cortico-cortical evoked potentials and diffusion imaging. Neuroimage 2020; 215: 116763, https://doi.org/10.1016/j.neuroimage.2020.116763.
- Mercier M., Bickel S., Megevand P., Groppe D., Mehta A. Intracranial recording: a glimpse on white-grey matter differences. Epilepsy Curr 2015; 15: 469.
- Golyandina N. Particularities and commonalities of singular spectrum analysis as a method of time series analysis and signal processing. Wiley Interdiscip Rev Comput Stat 2020; 12(4): e1487, https://doi.org/10.1002/wics.1487.
- Torrence C., Compo G.P. A practical guide to wavelet analysis. Bull Am Meteorol Soc 1998; 79(1): 61–78, https://doi.org/10.1175/1520-0477(1998)0790061:apgtwa2.0.co;2.
- Huang C.C., Chang C.S., Hsin Y.L. Time–frequency spectral analysis of cortico-cortical evoked potentials by means of Hilbert–Huang transform. Brain Stimul 2015; 8(2): 388, https://doi.org/10.1016/j.brs.2015.01.242.
- Prime D., Woolfe M., Rowlands D., O’Keefe S., Dionisio S. Comparing connectivity metrics in cortico-cortical evoked potentials using synthetic cortical response patterns. J Neurosci Methods 2020; 334: 108559, https://doi.org/10.1016/j.jneumeth.2019.108559.
- Christ M., Braun N., Neuffer J., Kempa-Liehr A.W. Time Series FeatuRe Extraction on basis of Scalable Hypothesis tests (tsfresh — a Python package). Neurocomputing 2018; 307: 72–77, https://doi.org/10.1016/j.neucom.2018.03.067.