Результаты исследования нейронных сетей подтверждают идею о том, что мозг является «машиной предсказаний» — и что он работает таким образом для экономии энергии.
Автор: Анил Анантасвами
Как наш мозг, масса ткани в три килограмма, заключенная в костяной череп, создает восприятие из ощущений — давняя загадка. Множество доказательств и десятилетия непрерывных исследований говорят о том, что мозг не может просто собирать сенсорную информацию, словно пазл, чтобы воспринимать окружающее. Это подтверждается тем фактом, что мозг может построить сцену на основе света, попадающего в наши глаза, даже когда поступающая информация является смазанной и неоднозначной.
В связи с этим многие неврологи переходят к восприятию мозга как «машины предсказаний». Благодаря предиктивной обработке мозг использует свои предыдущие знания о мире, чтобы делать умозаключения или генерировать гипотезы о причинах поступающей сенсорной информации. Эти гипотезы, а не сами сенсорные данные, приводят к возникновению восприятия в нашем сознании. Чем неоднозначнее вводные данные, тем больше мы полагаемся на предварительные знания.
«Красота системы предиктивной обработки [заключается] в том, что она обладает действительно большой — иногда критики могут сказать, что слишком большой — способностью объяснять множество различных явлений в самых разных системах», — говорит Флорис де Ланге, нейробиолог из Лаборатории предиктивного мозга Университета Радбоуда в Нидерландах.
Однако всё больше доказательств этой идеи носят в основном косвенный характер и открыты для альтернативных объяснений. «Если обратиться к когнитивной нейронауке и нейровизуализации у людей, [есть] много доказательств — но очень неявных, косвенных доказательств» — говорит Тим Кицманн из Университета Радбоуда, чьи исследования лежат в междисциплинарной области машинного обучения и нейронауки.
Поэтому исследователи обращаются к вычислительным моделям, чтобы понять и проверить идею предсказательного мозга. IT-нейробиологи построили искусственные нейронные сети, дизайн которых вдохновлен поведением биологических нейронов, которые учатся делать прогнозы относительно поступающей информации. Эти модели демонстрируют удивительные способности, которые, похоже, имитируют способности реального мозга. Некоторые эксперименты с этими моделями даже намекают на то, что мозг должен был эволюционировать как машина предсказаний, чтобы соответствовать энергетическим ограничениям.
По мере распространения вычислительных моделей неврологи, изучающие животных, также все больше убеждаются в том, что мозг учится делать выводы о причинах сенсорных вводных. Хотя точные детали того, как мозг это делает, остаются туманными, картина постепенно проясняется.
Бессознательные умозаключения восприятия
Обработка предсказаний может показаться на первый взгляд контринтуитивно сложным механизмом восприятия, но ученые уже давно обращались к этому процессу, потому что другие объяснения казались недостаточными. Еще тысячу лет назад арабский астроном и математик Хасан ибн аль-Хайтам в своей «Книге оптики» выделил одну из подобных форм для объяснения различных аспектов зрения. Эта идея стала популярной в 1860-х годах, когда немецкий физик и врач Герман фон Гельмгольц утверждал, что мозг воспринимает общие причины входящих сенсорных сигналов, а не строит свое восприятие «снизу вверх» на основе этих сигналов.
Гельмгольц предложил концепцию «бессознательного умозаключения» для объяснения бистабильного или мультистабильного восприятия, при котором изображение может восприниматься более чем одним способом. Это происходит, например, с известным двусмысленным изображением, которое мы можем воспринимать как утку или кролика: наше восприятие постоянно переключается между двумя образами животных. В таких случаях Гельмгольц утверждал, что восприятие должно быть результатом бессознательного процесса нисходящих умозаключений о причинах сенсорных данных, поскольку образ, формирующийся на сетчатке глаза, не меняется.
В 20 веке психологи-когнитивисты продолжали доказывать, что восприятие — это процесс активного конструирования, который опирается как на восходящие сенсорные данные, так и на нисходящие концептуальные. Кульминацией этих усилий стала знаменитая работа 1980 года «Восприятие как гипотеза» покойного Ричарда Лэнгтона Грегори, в которой утверждалось, что перцептивные иллюзии — это, по сути, ошибочные догадки мозга о причинах сенсорных впечатлений. Между тем, ученые, занимающиеся компьютерным зрением, столкнулись со сложностями в своих попытках использовать восходящую реконструкцию, чтобы дать компьютерам возможность видеть без внутренней «генеративной» модели для сравнения.
«Попытки осмыслить данные без генеративной модели обречены на провал — все, что можно сделать, это отметить закономерности данных» — отмечает Карл Фристон, специалист по вычислительной нейробиологии из Университетского колледжа Лондона.
Но хотя признание предиктивной обработки росло, оставались вопросы о том, как она может быть реализована в мозге. Одна из популярных моделей, называемая предиктивным кодированием, утверждает, что в мозге существует иерархия уровней обработки информации. Самый верхний уровень представляет наиболее абстрактные, высокоуровневые знания (например, восприятие змеи в тени впереди). Этот слой делает прогнозы, предвосхищая нейронную активность низлежащего слоя, посылая сигналы вниз. Нижний слой сравнивает фактическую активность с предсказанием, полученным сверху. Если есть несоответствие, слой генерирует сигнал ошибки, который идет вверх, чтобы вышестоящий слой мог обновить свои внутренние представления.
Этот процесс происходит одновременно для каждой пары последовательных слоев, вплоть до самого нижнего слоя, который получает фактический сенсорный ввод. Любое несоответствие между тем, что получено из мира, и тем, что предполагается, приводит к сигналу ошибки, который распространяется по иерархии. Самый верхний уровень в конечном итоге обновляет свою гипотезу (к примеру, что наблюдается не змея, а просто свернутая веревка на земле).
«В целом, идея предиктивного кодирования, особенно когда она применяется к коре головного мозга, заключается в том, что в мозге есть две популяции нейронов» — сказал де Ланге: одна кодирует текущее наилучшее предсказание о том, что воспринимается, а другая сигнализирует об ошибках в этом предсказании.
В 1999 году компьютерные ученые Раджеш Рао и Дана Баллард (в то время работавшие в Институте биологических исследований Салка и университете Рочестера соответственно) построили сложную вычислительную модель предиктивного кодирования, в которой нейроны были явно предназначены для прогнозирования и коррекции ошибок. Они смоделировали часть пути в системе визуальной обработки мозга приматов, который состоит из иерархически организованных областей, отвечающих за распознавание лиц и объектов. Они показали, что модель может воспроизвести некоторые необычные особенности поведения зрительной системы приматов.
Однако эта работа была выполнена до появления современных глубоких нейронных сетей, которые имеют один входной слой, один выходной слой и несколько скрытых слоев между ними. К 2012 году нейробиологи стали использовать глубокие нейронные сети для моделирования вентрального зрительного потока приматов. Но почти все эти модели представляли собой сети с прямой связью, в которых информация поступает только от ввода к выводу. «Мозг явно не является чисто прямой машиной» — считает де Ланге. «В нём много обратных связей, примерно столько же, сколько и прямых [сигналов]».
Поэтому нейробиологи обратились к другому типу модели, называемому рекуррентной нейронной сетью (РНС). По словам Канака Раджана, IT-нейробиолога и доцента Школы медицины Икан при Маунт Синай в Нью-Йорке, чья лаборатория использует РНС для понимания работы мозга, они обладают свойствами, которые делают их «идеальным субстратом» для моделирования мозга. РНС содержат как прямые, так и обратные связи между нейронами, и у них существует непрерывная активность, которая не зависит от входных данных. «Способность создавать такую динамику в течение очень длительного периода времени, по сути, вечно, дает возможность обучать эти сети» — говорит Раджан.
Прогнозирование является энергоэффективным
РНС привлекли внимание Уильяма Лоттера и его советников по докторской диссертации Дэвида Кокса и Габриэля Креймана в Гарвардском университете. В 2016 году команда продемонстрировала РНС, которая научилась предсказывать следующий кадр в видеопоследовательности. Они назвали ее PredNet. Команда разработала РНС в соответствии с принципами предиктивного кодирования в виде иерархии из четырех слоев, каждый из которых предсказывает входные данные, которые он ожидает от низлежащего слоя, и посылает сигнал ошибки вверх в случае несоответствия.
Затем они обучили сеть на видеозаписях городских улиц, снятых камерой, установленной на автомобиле. PredNet научилась непрерывно предсказывать следующий кадр в видео. «Мы не знали, будет ли это работать», — говорит Лоттер. «Мы попробовали и увидели, что она действительно делает предсказания. И это было очень здорово».
Следующим шагом стало соединение PredNet с нейронаукой. В прошлом году в журнале Nature Machine Intelligence Лоттер и его коллеги сообщили, что PredNet демонстрирует поведение, наблюдаемое в мозге обезьян в ответ на неожиданные стимулы, включая те, которые трудно воспроизвести в простых фидфорвардных сетях.
«Это фантастическая работа» — говорит Кицманн о PredNet. Но он, Марсель ван Гервен и их коллеги из Радбоуда хотели получить нечто более базовое: и модель Рао и Балларда, и PredNet явно включают искусственные нейроны для предсказания и исправления ошибок, а также механизмы, которые заставляют правильные нисходящие предсказания тормозить ошибочные нейроны. Но что, если бы эти механизмы не были явно указаны? «Мы задались вопросом, действительно ли необходимы все эти «встраивания» архитектурных ограничений, или мы могли бы обойтись еще более простым подходом» — говорит Кицманн.
Кицманну и ван Гервену пришло в голову, что нейронная коммуникация требует больших энергетических затрат (мозг — самый энергоемкий орган в организме). Поэтому необходимость экономить энергию может ограничивать поведение любой развивающейся нейронной сети в организмах.
Исследователи решили проверить, могут ли какие-либо вычислительные механизмы для предиктивного кодирования возникнуть в РНС, которые должны выполнять свои задачи, используя как можно меньше энергии. Они решили, что сила связей, также известная как весовые коэффициенты, между искусственными нейронами в их сети может служить косвенным показателем синаптической передачи, на которую приходится большая часть энергии, используемой биологическими нейронами. «Если вы уменьшаете вес искусственных единиц, это означает, что вы тратите меньше энергии» — говорит Кицманн. «Мы рассматриваем это как минимизацию синаптической передачи».
Затем команда обучила РНС на многочисленных последовательностях цифр в восходящем, обходном порядке: 1234567890, 3456789012, 6789012345 и так далее. Каждая цифра показывалась сети в виде изображения размером 28 на 28 пикселей. РНС выучила внутреннюю модель, которая могла предсказать, какой будет следующая цифра, начиная с любого случайного места в последовательности. Но сеть была вынуждена делать это с минимально возможными весами между единицами, аналогично низкому уровню нейронной активности в биологической нервной системе.
В этих условиях РНС научилась предсказывать следующее число в последовательности. Некоторые из искусственных нейронов выступали в качестве «единиц предсказания», представляя собой модель ожидаемых входов. Другие нейроны действовали как «единицы ошибки», которые были наиболее активны, когда единицы предсказания еще не научились правильно предвидеть следующее число. Эти ошибочные единицы становились менее активными, когда единицы предсказания начинали делать всё правильно. Важно отметить, что сеть пришла к такой архитектуре, потому что была вынуждена минимизировать потребление энергии. «Она просто учится экономии, которую люди обычно встраивают в систему явно» — сказал Кицманн. «Наша система делает это «из коробки», как эмерджентную вещь, чтобы быть энергоэффективной».
Вывод заключается в том, что нейронная сеть, которая минимизирует потребление энергии, в конечном итоге будет реализовывать своего рода предиктивную обработку, что позволяет утверждать, что биологический мозг, вероятно, делает то же самое.
Раджан назвала работу Кицмана «очень ярким примером того, как ограничения сверху вниз, такие как минимизация потребления энергии, могут косвенно привести к такой специфической функции, как предиктивное кодирование». Это побудило ее задаться вопросом, может ли появление специфических единиц ошибок и предсказаний в РНС быть непреднамеренным следствием того факта, что только нейроны на краю сети получали вводные данные. Если бы вводные были распределены по всей сети, «я бы сразу предположила, что вы не найдете разницу между блоками ошибок и блоками предсказания, но вы все равно обнаружите предсказательную активность», — сказала она.
Объединяющая основа для поведения мозга
Какими бы убедительными ни казались эти выводы из вычислительных исследований, в конечном счете только данные живого мозга могут убедить нейробиологов в том, что в мозге существует предиктивная обработка информации. Для этого Блейк Ричардс, нейробиолог и компьютерщик из Университета Макгилла и Квебекского института искусственного интеллекта Mila, и его коллеги сформулировали несколько четких гипотез о том, что они должны увидеть в мозге, научившемся делать прогнозы относительно неожиданных событий.
Для проверки своих гипотез они обратились к исследователям из Института Аллена по изучению мозга в Сиэтле, которые проводили эксперименты на мышах, наблюдая за нейронной активностью в их мозге. Особый интерес представляли определенные пирамидальные нейроны в неокортексе мозга, которые, как считается, анатомически подходят для прогностической обработки. Они могут получать как локальные сенсорные сигналы снизу вверх от близлежащих нейронов (через входы в их клеточное тело), так и сигналы прогнозирования сверху вниз от более отдаленных нейронов (через их апикальные дендриты).
Мышам показывали множество последовательностей пятен Габора, состоящих из светлых и темных полос. Все четыре пятна в каждой последовательности имели примерно одинаковую ориентацию, и мыши привыкли к этому. («Наверное, было чертовски скучно смотреть на эти последовательности» — замечает Ричардс). Затем исследователи ввели неожиданное событие: четвертое пятно Габора случайным образом поворачивалось в другую ориентацию. Сначала животные были удивлены, но со временем они стали ожидать и этот элемент. Все это время исследователи наблюдали за активностью в мозге мышей.
Они увидели, что многие нейроны по-разному реагируют на ожидаемые и неожиданные стимулы. Важно отметить, что эта разница была сильной в локальных, восходящих сигналах в первый день тестирования, но ослабевала на второй и третий день. В контексте прогностической обработки это говорит о том, что вновь сформированные нисходящие ожидания начали подавлять реакцию на поступающую сенсорную информацию по мере того, как стимулы становились менее неожиданными.
Между тем, в апикальных дендритах происходило обратное: разница в реакции на неожиданные стимулы увеличивалась с течением времени. Нейронные цепи, по-видимому, учились лучше представлять свойства неожиданных событий, чтобы в следующий раз делать более точные прогнозы.
«Это исследование дает дополнительную поддержку идее о том, что в неокортексе происходит что-то вроде прогностического обучения или прогностического кодирования», — говорит Ричардс.
Действительно, отдельные наблюдения за активностью нейронов или поведением животных иногда могут быть объяснены другой моделью мозга. Например, ослабевающие ответы нейронов на один и тот же входной сигнал, вместо того чтобы интерпретироваться как торможение ошибочных единиц, могут быть просто обусловлены процессом адаптации. Но тогда «получается целый телефонный справочник объяснений различных явлений» — говорит де Ланге.
С другой стороны, предиктивная обработка дает объединяющую основу для объяснения многих явлений одним махом, что делает ее привлекательной в качестве теории работы мозга. «Я думаю, что доказательства на данный момент довольно убедительны» — говорит Ричардс. «Я готов поставить на это утверждение большие деньги».
Оригинал: Quanta
