OctoTools: Стэнфордская платформа с открытым исходным кодом оптимизирует рассуждения LLM посредством модульной оркестровки инструментов

OctoTools , новая агентная платформа с открытым исходным кодом, выпущенная учеными Стэнфордского университета, может ускорить большие языковые модели (LLM) для задач рассуждения, разбивая задачи на подблоки и улучшая модели с помощью инструментов. Хотя использование инструментов уже стало важным применением LLM, OctoTools делает эти возможности гораздо более доступными, устраняя технические барьеры и позволяя разработчикам и предприятиям расширять платформу собственными инструментами и рабочими процессами.

Эксперименты показывают, что OctoTools превосходит классические методы подсказок и другие прикладные среды LLM, что делает его многообещающим инструментом для реального использования моделей ИИ.

LLM часто сталкиваются с задачами рассуждения, которые включают в себя несколько шагов, логическую декомпозицию или специализированные знания предметной области. Одним из решений является передача определенных шагов решения на аутсорсинг внешним инструментам, таким как калькуляторы, интерпретаторы кода, поисковые системы или инструменты обработки изображений. В этом сценарии модель фокусируется на планировании более высокого уровня, в то время как фактические вычисления и рассуждения выполняются с помощью инструментов.

Однако использование инструментов имеет свои собственные проблемы. Например, классические LLM часто требуют существенного обучения или обучения с небольшим количеством попыток с использованием курируемых данных для адаптации к новым инструментам, а после расширения они будут ограничены определенными областями и типами инструментов.

Выбор инструмента также остается болезненным моментом. LLM могут стать хорошими в использовании одного или нескольких инструментов, но когда задача требует использования нескольких инструментов, они могут запутаться и выполнить задание плохо.

OctoTools решает эти болевые точки с помощью агентной структуры без обучения, которая может организовать несколько инструментов без необходимости тонкой настройки или корректировки моделей. OctoTools использует модульный подход для решения задач планирования и рассуждения и может использовать любую LLM общего назначения в качестве своей основы.

Среди ключевых компонентов OctoTools есть «карты инструментов», которые действуют как оболочки для инструментов, которые может использовать система, таких как интерпретаторы кода Python и API веб-поиска. Карты инструментов включают метаданные, такие как форматы ввода-вывода, ограничения и лучшие практики для каждого инструмента. Разработчики могут добавлять собственные карты инструментов в фреймворк, чтобы соответствовать своим приложениям.

Когда в OctoTools поступает новый запрос, модуль «планировщика» использует базовую LLM для создания плана высокого уровня, который обобщает цель, анализирует требуемые навыки, определяет соответствующие инструменты и включает дополнительные соображения для задачи. Планировщик определяет набор подцелей, которые система должна достичь для выполнения задачи, и описывает их в текстовом плане действий.

Для каждого шага плана модуль «предиктора действий» уточняет подцель, чтобы указать инструмент, необходимый для ее достижения, и убедиться, что она выполнима и проверяема.

Как только план готов к выполнению, «генератор команд» сопоставляет текстовый план с кодом Python, который вызывает указанные инструменты для каждой подцели, затем передает команду «исполнителю команд», который запускает команду в среде Python. Результаты каждого шага проверяются модулем «контекстного верификатора», а окончательный результат консолидируется «сумматором решений».

«Отделяя стратегическое планирование от формирования команд, OctoTools сокращает количество ошибок и повышает прозрачность, делая систему более надежной и простой в обслуживании», — пишут исследователи.

OctoTools также использует алгоритм оптимизации для выбора наилучшего подмножества инструментов для каждой задачи. Это помогает избежать перегрузки модели нерелевантными инструментами.

Существует несколько фреймворков для создания приложений LLM и агентных систем, включая Microsoft AutoGen , LangChain и API OpenAI « вызов функций ». По словам разработчиков, OctoTools превосходит эти платформы в задачах, требующих рассуждений и использования инструментов.

Исследователи протестировали все фреймворки на нескольких бенчмарках для визуального, математического и научного мышления, а также медицинских знаний и агентских задач. OctoTools достиг среднего прироста точности на 10,6% по сравнению с AutoGen, на 7,5% по сравнению с GPT-функциями и на 7,3% по сравнению с LangChain при использовании тех же инструментов. По словам исследователей, причина более высокой производительности OctoTools заключается в превосходном распределении использования инструментов и правильном разложении запроса на подцели.

OctoTools предлагает предприятиям практическое решение для использования LLM для сложных задач. Его расширяемая интеграция инструментов поможет преодолеть существующие барьеры для создания продвинутых приложений для рассуждений ИИ. Исследователи опубликовали код OctoTools на GitHub .