Альтернатива глубокому обучению может помочь агентам ИИ играть в реальном мире

Новый подход к машинному обучению, черпающий вдохновение из того, как человеческий мозг моделирует и познает мир, доказал свою способность освоить ряд простых видеоигр с впечатляющей эффективностью.

Новая система под названием Axiom предлагает альтернативу искусственным нейронным сетям, которые доминируют в современном ИИ. Axiom, разработанная компанией-разработчиком программного обеспечения Verse AI, оснащена априорными знаниями о том, как объекты физически взаимодействуют друг с другом в игровом мире. Затем она использует алгоритм для моделирования того, как она ожидает, что игра будет действовать в ответ на ввод, который обновляется на основе того, что она наблюдает — процесс, названный активным выводом.

Подход черпает вдохновение из принципа свободной энергии, теории, которая пытается объяснить интеллект, используя принципы, взятые из математики, физики и теории информации, а также биологии. Принцип свободной энергии был разработан Карлом Фристоном, известным нейробиологом, который является главным научным сотрудником компании «когнитивных вычислений» Verses.

Фристон рассказал мне по видеосвязи из своего дома в Лондоне, что этот подход может быть особенно важен для создания агентов ИИ. «Они должны поддерживать тот тип познания, который мы видим в реальном мозге», — сказал он. «Это требует рассмотрения не только способности учиться чему-то, но и фактического изучения того, как вы действуете в мире».

Традиционный подход к обучению игре в игры включает в себя обучение нейронных сетей с помощью так называемого глубокого обучения с подкреплением, которое включает в себя экспериментирование и настройку их параметров в ответ на положительную или отрицательную обратную связь. Подход может производить сверхчеловеческие игровые алгоритмы, но для его работы требуется много экспериментов. Axiom осваивает различные упрощенные версии популярных видеоигр под названием drive, bounce, hunt и jump, используя гораздо меньше примеров и меньшую вычислительную мощность.

«Общие цели подхода и некоторые из его ключевых особенностей совпадают с тем, что я считаю наиболее важными проблемами, на которых следует сосредоточиться, чтобы достичь AGI», — говорит Франсуа Шолле, исследователь ИИ, разработавший ARC 3, бенчмарк, предназначенный для проверки возможностей современных алгоритмов ИИ. Шолле также изучает новые подходы к машинному обучению и использует свой бенчмарк для проверки способностей моделей учиться решать незнакомые проблемы, а не просто имитировать предыдущие примеры.

«Работа кажется мне очень оригинальной, и это здорово», — говорит он. «Нам нужно больше людей, которые пробуют новые идеи вдали от проторенных путей больших языковых моделей и моделей языка рассуждений».

Современный ИИ опирается на искусственные нейронные сети, которые примерно вдохновлены схемой работы мозга, но работают принципиально иначе. За последнее десятилетие с небольшим глубокое обучение, подход, использующий нейронные сети, позволило компьютерам делать всевозможные впечатляющие вещи, включая транскрибирование речи, распознавание лиц и генерацию изображений. Совсем недавно, конечно, глубокое обучение привело к появлению больших языковых моделей, которые питают болтливых и все более способных чатботов .

Axiom, в теории, обещает более эффективный подход к созданию ИИ с нуля. Он может быть особенно эффективен для создания агентов, которым необходимо эффективно учиться на опыте, говорит Гейб Рене, генеральный директор Verses. Рене говорит, что одна финансовая компания начала экспериментировать с технологией компании как с методом моделирования рынка. «Это новая архитектура для агентов ИИ, которые могут учиться в режиме реального времени и являются более точными, более эффективными и намного меньше», — говорит Рене. «Они буквально спроектированы как цифровой мозг».

Несколько иронично, учитывая, что Axiom предлагает альтернативу современному ИИ и глубокому обучению, принцип свободной энергии изначально был разработан под влиянием работы британско-канадского ученого-компьютерщика Джеффри Хинтона , который был удостоен как премии Тьюринга , так и Нобелевской премии за свою новаторскую работу по глубокому обучению. Хинтон был коллегой Фристона в Университетском колледже Лондона в течение многих лет.

Для получения дополнительной информации о Фристоне и принципе свободной энергии я настоятельно рекомендую эту статью WIRED 2018 года . Работа Фристона также повлияла на захватывающую новую теорию сознания , описанную в книге, рецензируемой WIRED в 2021 году.