1 августа 2022 года.
Вы когда-нибудь задумывались, почему целоваться приятнее, чем держаться за руки? Язык — невероятная штука, хотя его трудно изучать из-за его расположения внутри рта. Очевидно, что он открывает нам доступ к удивительному миру вкуса, но, кроме того, он обладает большей чувствительностью к прикосновениям, чем кончик пальца. Без него мы не можем говорить, петь, эффективно дышать или глотать вкусные напитки.
Так почему бы нам не использовать его еще больше? В моем новом исследовании мы изучаем, как максимально использовать этот странный орган — возможно, в качестве интерфейса, помогающего людям с нарушениями зрения ориентироваться и даже заниматься спортом. Я понимаю, что это может показаться умопомрачительным, но, пожалуйста, потерпите.
Мои исследования относятся к области, известной как «сенсорное замещение», — междисциплинарной науке, объединяющей психологию, нейронауку, информатику и инженерию для разработки «устройств сенсорного замещения» (известных как SSD). Устройства SSD преобразуют сенсорную информацию из одного чувства в другое. Например, если устройство предназначено для человека с нарушениями зрения, это обычно означает преобразование визуальной информации с видео в звуковую или осязательную.
Рисование картинок на языке
BrainPort, впервые разработанный в 1998 году, является одной из таких технологий. Она преобразует видеосигнал с камеры в движущиеся схемы электрической стимуляции на поверхности языка. Языковой дисплей» (небольшое устройство в форме леденца) состоит из 400 крошечных электродов, каждый из которых соответствует пикселю с видеокамеры.
Он создает на языке тактильный дисплей низкого разрешения, соответствующий изображению, получаемому с камеры. Технология может быть использована для помощи жертвам инсульта в поддержании чувства равновесия. А в 2015 году Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США одобрило ее использование в качестве вспомогательного средства для слабовидящих людей.
Представьте, что вы подносите руку к камере и чувствуете, как на кончике вашего языка одновременно появляется крошечная рука. Это похоже на то, как будто кто-то рисует изображения на вашем языке в виде леденцов.
Хотя BrainPort существует уже несколько лет, в реальном мире он не получил широкого распространения, несмотря на то что стоит в десять раз дешевле имплантата сетчатки глаза. Я использую BrainPort, чтобы проверить, как работает человеческое внимание на поверхности языка, и выяснить, могут ли различия в восприятии быть причиной этого.
В психологических исследованиях существует известный метод проверки внимания, называемый парадигмой Познера (Posner Cueing paradigm), названный так в честь американского психолога Майка Познера, который разработал его в 1980-х годах для измерения зрительного внимания.
Когда я говорю «внимание», я не имею в виду «устойчивость внимания». Внимание — это совокупность процессов, которые приводят окружающие предметы в наше сознание. Познер обнаружил, что наше внимание может быть вызвано визуальными стимулами.
Если мы видим что-то движущееся краем глаза, внимание фокусируется на этой области. Вероятно, так мы развивались, чтобы быстро реагировать на опасных змей, скрывающихся за углами и по краям нашего зрительного поля.
Этот процесс происходит и между органами чувств. Если вы когда-нибудь сидели летом в саду паба и слышали над одним ухом жуткий гул прилетевшей осы, ваше внимание очень быстро переключается на эту сторону тела.
Звук осы привлекает ваше слуховое внимание к общему местоположению потенциально приближающейся осы, чтобы мозг мог быстро распределить зрительное внимание, чтобы определить точное местоположение осы, и тактильное внимание, чтобы быстро смахнуть ее или увернуться от нее.
Это то, что мы называем «кросс-модальным» вниманием (зрение — один из видов ощущений, аудио — другой): вещи, которые появляются в одном органе чувств, могут влиять на другие органы чувств.
Обращая внимание на тон-гу
Мы с коллегами разработали вариацию парадигмы Posner Cueing, чтобы выяснить, может ли мозг распределять тактильное внимание на поверхности языка так же, как на руках или других способах внимания. Мы знаем много о визуальном внимании и тактильном внимании на руках и других частях тела, но не знаем, применимы ли эти знания к языку.
Это важно, потому что BrainPort разработан, создан и продается для того, чтобы помочь людям «видеть» через язык. Но нам нужно понять, является ли «видение» языком тем же самым, что и видение глазами.
Ответ на эти вопросы, как и почти на все в жизни, заключается в том, что это сложно. Язык реагирует на информацию примерно так же, как руки или зрение, но, несмотря на невероятную чувствительность языка, процессы внимания несколько ограничены по сравнению с другими органами чувств. Очень легко перестимулировать язык, что приводит к сенсорной перегрузке и затрудняет восприятие происходящего.
Мы также обнаружили, что на процессы внимания на языке может влиять звук. Например, если пользователь BrainPort слышит звук слева, он может легче распознать информацию на левой стороне языка. Это может помочь направить внимание и снизить сенсорную перегрузку при использовании BrainPort в паре со слуховым интерфейсом.
С точки зрения использования BrainPort в реальном мире, это означает, что нужно контролировать сложность визуальной информации, которая заменяется, и, если возможно, использовать другое чувство, чтобы разделить часть сенсорной нагрузки. Использование порта BrainPort в одиночку может быть слишком сильным для получения достоверной информации, и потенциально может быть улучшено за счет использования других вспомогательных технологий, таких как vOICe.
Мы используем эти данные для разработки устройства, которое поможет скалолазам с нарушениями зрения ориентироваться во время восхождения. Чтобы предотвратить информационную перегрузку, мы используем машинное обучение для определения мест для лазания и отсеивания менее значимой информации. Мы также изучаем возможность использования звуковых сигналов для подсказки, где может находиться следующая лаза, а затем используем обратную связь на языке для точного определения местоположения лаза.
После нескольких доработок эта технология может стать более надежным инструментом, помогающим слепым, глухим или незрячим людям ориентироваться. Возможно, она даже поможет параплегическим людям, неспособным пользоваться руками, ориентироваться или общаться более эффективно.
Автор — Майк Ричардсон, научный сотрудник отдела психологии Университета Бата.
