Без станка как без рук: Без станка как без рук — Задание

Она начала смотреть на речь как на более эффективный метод общения. И хотя исследование технологий интерфейса мозг-компьютер (BCI) всерьез началось в 2004 году с использованием электрокортикографии (ЭКоГ), в то время было всего несколько лабораторий по всему миру, занимающихся этой проблемой. Более того, поскольку ЭКоГ требует размещения электродов на коре головного мозга, она по-прежнему не является полностью неинвазивным решением, которое могло бы работать снаружи кузова.

Глядя на основной доклад F8, Мюглер был взволнован работой, проделанной в Facebook по изучению BCI. Здесь, казалось, был хотя бы потенциал для ответов.

Представьте себе мир, в котором все знания, развлечения и полезность современных смартфонов доступны мгновенно и без помощи рук. Где вы могли бы качественно провести время с людьми, которые имеют наибольшее значение в вашей жизни, в любое время, независимо от того, в какой части мира вы находитесь. И где вы могли бы осмысленно общаться с другими, независимо от внешних отвлекающих факторов, географических ограничений и даже физических недостатков и ограничений.

Это будущее, в которое мы верим, и которое, как мы думаем, будет полностью реализовано в виде пары стильных очков дополненной реальности (AR). По мнению главного научного сотрудника Майкла Абраша и команды Facebook Reality Labs (FRL), мы стоим на пороге новой великой волны в человеко-ориентированных вычислениях, в которой объединенные технологии AR и VR объединяются и революционизируют то, как мы взаимодействуем с окружающим миром, а также с тем, как мы работаем, играем и общаемся.

До этого будущего еще далеко, но проводимые сегодня исследования на ранней стадии — это первый шаг к выполнению своего обещания. И одна из самых интересных и сложных проблем, которую необходимо решить, — это вопрос ввода. Другими словами, как только мы наденем очки дополненной реальности, как мы будем их использовать?

«Это будет что-то совершенно новое, такое же полное отличие от всего, что было раньше, как интерфейс на основе мыши и графического интерфейса был создан на основе перфокарт, распечаток и телетайпов», — пишет Абраш.

И здесь на помощь приходит BCI.

«Я вырос, читая о BCI в романах Уильяма Гибсона и Нила Стивенсона, и большую часть своей взрослой жизни я провел, пытаясь понять, BCI станет настоящей вещью. .. хотя я все еще удивлен, что это оказалось настоящей работой», — говорит Марк Шевилле, директор по исследованиям в FRL. Управление машинами с помощью нашего разума больше не является научной фантастикой. Реальные люди использовали технологии BCI, чтобы есть, держать за руку любимого человека и даже летать на симуляторе реактивного самолета. Но на сегодняшний день это было возможно только с использованием имплантированных электродов. «Сегодня нет другого способа сделать это, но долгосрочная цель нашей команды — сделать эти вещи возможными с помощью неинвазивного носимого устройства».

До прихода в FRL для создания и руководства командой, занимающейся исследованиями BCI, Шевилле работал в Лаборатории прикладной физики Университета Джона Хопкинса (APL). «Что меня привлекло в APL, так это их работа, сочетающая передовую робототехнику и имплантированные хирургическим путем электроды для разработки протеза руки для раненых ветеранов боевых действий, которым можно было бы управлять так же, как их естественной рукой», — говорит он.

Вдохновленный Chevillet помог APL создать более широкую программу связанных исследовательских проектов в области прикладной нейробиологии, чтобы увидеть, куда может пойти технология в будущем — и как она потенциально может помочь еще большему количеству людей неинвазивным способом. «Я руководил внутренней исследовательской программой, чтобы посмотреть, сможем ли мы использовать некоторые идеи из двигательных протезов и некоторые другие мои работы в области когнитивной нейробиологии, чтобы создать коммуникационный протез для людей, которые не могут говорить», — объясняет он. «Мы также пытались выяснить, можем ли мы использовать неинвазивный подход вместо имплантированных электродов, чтобы эту технологию могли использовать гораздо больше людей».

После того, как компания Facebook наняла Шевилле для создания команды, занимающейся НКИ, он был вдохновлен предложить и реализовать амбициозный долгосрочный исследовательский проект, который раздвинул границы возможного и переопределил современное состояние дел. И тут его осенило: BCI для общения с использованием носимых устройств не только актуален для людей, которые не могут говорить — это также может быть очень мощным способом для людей взаимодействовать со своими цифровыми устройствами.

Хотя голос набирает обороты в качестве механизма ввода для умных домашних устройств и телефонов, он не всегда практичен. Что, если вы находитесь в переполненном помещении, идете по шумной городской улице или в тихой художественной галерее? Как понял Шевилле, «большинство людей использовали голосовой помощник на своем телефоне, но они почти никогда не используют его в присутствии других людей».

Но что, если бы вы могли получить удобство громкой связи и скорость голоса с дискретностью набора текста?

Имея в виду это видение, Шевилле решил создать междисциплинарную команду, которая могла бы выяснить, может ли его мечта о неинвазивном носимом устройстве BCI стать реальностью.

«Нам явно нужен был кто-то, кто действительно разбирался в воспроизведении речи и нейробиологии, стоящей за этим, и нам повезло, и мы нашли Эмили — или она нашла нас», — говорит он. По мере роста команды междисциплинарный характер проблемы привлек широкий спектр первоклассных исследователей с опытом работы от биомедицинских изображений до машинного обучения и квантовых вычислений. Но была одна проблема, которую команда FRL не могла решить: прежде чем они могли точно определить, какой тип носимого устройства нужно создать, им нужно было знать, возможен ли вообще интерфейс беззвучной речи, и если да, то какие нейронные сигналы были на самом деле. необходимо, чтобы заставить его работать.

В настоящее время на этот вопрос можно ответить только с помощью имплантированных электродов, поэтому Шевилле обратился к своему давнему коллеге Эдварду Чангу — всемирно известному нейрохирургу из Калифорнийского университета в Сан-Франциско (UCSF), где он также возглавляет ведущую исследовательскую группу по картированию мозга и нейробиологии речи, занимающуюся разработкой новых методов лечения пациентов с неврологическими расстройствами.

«Я пошел к Эдди в его офис и просто изложил свое видение», — вспоминает Шевилле. «Я объяснил, что хотел бы знать, возможно ли использование носимого устройства для речевого ИМК, и как поддержка исследований его команды с использованием имплантированных электродов может продвинуть наши собственные неинвазивные исследования».

Выяснилось, что Чан давно планировал разработать коммуникационное устройство для пациентов, которые больше не могли говорить после тяжелой черепно-мозговой травмы, такой как инсульт ствола мозга, травма спинного мозга, нейродегенеративное заболевание и другие состояния. Но он знал, что такая амбициозная цель требует ресурсов, которые не всегда доступны, чтобы осуществить ее в ближайшее время. Возможность казалась захватывающей.

После обсуждения важности исследования UCSF, направленного на улучшение жизни людей, страдающих параличом и другими формами нарушения речи, а также заинтересованности Facebook в долгосрочном потенциале BCI для изменения нашего взаимодействия с технологиями в более широком смысле, они решили объединиться с общей целью продемонстрировать, действительно ли возможно декодировать речь по активности мозга в режиме реального времени.

Сегодня в Nature Communications Чанг и Дэвид Мозес, ученые из лаборатории Чанга в Калифорнийском университете в Сан-Франциско, опубликовали результаты исследования, демонстрирующего, что активность мозга, записанная во время разговора, может быть использована. почти мгновенно расшифровывать то, что они говорили, в текст на экране компьютера. В то время как предыдущая работа по расшифровке проводилась в автономном режиме, ключевой вклад в эту работу заключается в том, что команда UCSF смогла расшифровать небольшой набор полных произнесенных слов и фраз из активности мозга в режиме реального времени — впервые в области исследований BCI. Исследователи подчеркивают, что их алгоритм пока способен распознавать лишь небольшой набор слов и фраз, но текущая работа направлена ​​на перевод гораздо большего словарного запаса со значительно меньшим количеством ошибок.

За последнее десятилетие нейробиология сделала огромный шаг вперед — мы знаем гораздо больше о том, как мозг понимает и воспроизводит речь. В то же время новые исследования ИИ улучшили нашу способность переводить речь в текст. Взятые вместе, эти технологии однажды могут помочь людям общаться, воображая то, что они хотят сказать, — возможность, которая может значительно улучшить жизнь людей, живущих с параличом.

В работе, проделанной для статьи Nature Communications , участвовали участники исследования на добровольных началах с нормальной речью, которые уже перенесли операцию на головном мозге для лечения эпилепсии. Это часть более крупной исследовательской программы Калифорнийского университета в Сан-Франциско, которая частично поддерживается FRL в рамках проекта, который мы называем Project Steno. Заключительный этап Project Steno будет включать в себя годичное исследование, чтобы выяснить, можно ли использовать мозговую активность для восстановления способности одного участника исследования к общению в условиях инвалидности. Помимо предоставления финансирования, небольшая группа исследователей Facebook работает напрямую с Чангом и его лабораторией, предоставляя информацию и техническую поддержку. UCSF курирует исследовательскую программу и работает напрямую с добровольцами-исследователями. Исследователи Facebook имеют ограниченный доступ к деидентифицированным данным, которые постоянно остаются на территории UCSF и находятся под его контролем.

В конечном счете, исследователи надеются достичь скорости декодирования в реальном времени 100 слов в минуту при словарном запасе в 1000 слов и частоте ошибок менее 17%. И, демонстрируя доказательство концепции использования имплантированных электродов в рамках их усилий по оказанию помощи пациентам с потерей речи, мы надеемся, что работа UCSF поможет нам в разработке алгоритмов декодирования и технических спецификаций, необходимых для полностью неинвазивного носимого устройства.

Нам еще далеко до того, чтобы получить те же результаты, что и в Калифорнийском университете в Сан-Франциско, неинвазивным способом. Чтобы достичь этого, FRL продолжает изучать неинвазивные методы BCI с другими партнерами, включая Институт радиологии Маллинкродта в Медицинской школе Вашингтонского университета и APL в Университете Джона Хопкинса.

И мы начнем с системы, использующей ближний инфракрасный свет.

Как и другие клетки в вашем теле, нейроны потребляют кислород, когда они активны. Таким образом, если мы сможем обнаружить изменения уровня кислорода в мозге, мы сможем косвенно измерить активность мозга. Подумайте о пульсоксиметре — датчике, похожем на зажим со светящимся красным светом, который вы, вероятно, прикрепили к указательному пальцу в кабинете врача. Точно так же, как он может измерять уровень насыщения крови кислородом с помощью пальца, мы также можем использовать ближний инфракрасный свет для измерения насыщения крови кислородом в мозге извне безопасным и неинвазивным способом. Это похоже на сигналы, измеряемые сегодня при функциональной магнитно-резонансной томографии (фМРТ), но с использованием портативного носимого устройства, изготовленного из деталей потребительского качества.

Мы не ожидаем, что эта система решит проблему ввода для дополненной реальности в ближайшее время. В настоящее время он громоздкий, медленный и ненадежный. Но потенциал значителен, поэтому мы считаем, что стоит продолжать совершенствовать эту современную технологию с течением времени. И хотя измерение оксигенации может никогда не позволить нам расшифровать воображаемые предложения, способность распознавать даже несколько воображаемых команд, таких как «домой», «выбрать» и «удалить», предоставит совершенно новые способы взаимодействия с современными системами виртуальной реальности. и завтрашние очки дополненной реальности.

Мы также изучаем способы перехода от измерения оксигенации крови как основного средства обнаружения мозговой активности к измерению движения кровеносных сосудов и даже самих нейронов. Благодаря коммерциализации оптических технологий для смартфонов и LiDAR мы думаем, что сможем создать небольшие удобные устройства BCI, которые позволят нам измерять нейронные сигналы ближе к тем, которые мы сейчас записываем с помощью имплантированных электродов, и, возможно, однажды даже декодировать немую речь.

Это может занять десятилетие, но мы думаем, что сможем сократить разрыв.

Технологии не являются неизбежными и никогда не бывают нейтральными — они всегда находятся в определенном социальном и историческом контексте. За последние пять лет в области нейротехнологий произошел значительный прогресс, отчасти благодаря значительным международным инвестициям в США, Европе, Японии, Китае и Австралии.

В то время как BCI как убедительный механизм ввода для AR явно еще далеко, никогда не рано начать думать над важными вопросами, на которые необходимо будет ответить, прежде чем такая потенциально мощная технология войдет в коммерческие продукты. Например, как мы можем обеспечить безопасность и надежность устройств? Будут ли они работать для всех, независимо от тона кожи? И как мы помогаем людям управлять своей конфиденциальностью и данными так, как они хотят?

«Мы уже многому научились, — говорит Шевилле. «Например, в начале программы мы попросили наших сотрудников поделиться с нами некоторыми обезличенными записями электродов пациентов с эпилепсией, чтобы мы могли проверить, как работает их программное обеспечение. Хотя это очень распространено в исследовательском сообществе и в настоящее время требуется некоторыми журналами, в качестве дополнительного уровня защиты мы больше не получаем данные электродов».

«Мы знаем технологию лучше, чем кто-либо другой, поэтому мы должны начать говорить об этом сейчас с людьми в сообществе», — добавляет Мюглер. «То, что мы не все обучены биоэтике, не означает, что мы не можем или не должны участвовать в обсуждении. На самом деле, мы обязаны убедиться, что все должным образом осведомлены о научных достижениях, чтобы мы все могли вести информированное обсуждение о будущем этой технологии».

Вот почему мы поддерживаем и призываем наши партнерские учреждения публиковать свои исследования в рецензируемых журналах — и почему мы рассказываем эту историю сегодня.

«Мы не можем предвидеть или решить все этические проблемы, связанные с этой технологией, самостоятельно», — говорит Шевилле. «Что мы, , можем сделать, так это распознать, когда технология продвинулась за пределы того, что люди знают, и убедиться, что информация доставляется обратно сообществу. Нейроэтический дизайн является одним из ключевых столпов нашей программы — мы хотим быть прозрачными в отношении того, над чем мы работаем, чтобы люди могли рассказать нам о своих опасениях по поводу этой технологии».