OpenAI o3

OpenAI представила новый ИИ-систему o3, которая достигла впечатляющего результата на тестах ARC-AGI. На полу-приватном наборе задач модель показала эффективность 75,7% при строгом ограничении затрат на вычисления (до $10,000). Более мощная версия o3, использующая 172-кратное увеличение вычислительных ресурсов, достигла 87,5%. Эти показатели представляют собой важный шаг вперед в адаптации ИИ к новым задачам, которые ранее были недоступны для моделей семейства GPT.

Что такое ARC-AGI?

ARC-AGI (Artificial General Intelligence Benchmark) был создан как ориентир для разработки универсальных ИИ. Этот тест фокусируется на способности адаптироваться к новым задачам, которые легки для людей, но сложны для машин. С момента запуска ARC-AGI в 2019 году производительность GPT-моделей оставалась низкой, и лишь с приходом o3 удалось совершить качественный скачок.

Преимущества o3

Модель o3 реализует уникальный подход: она выполняет поиск и выполнение программ в пространстве токенов. Это позволяет ей генерировать последовательности действий (Chain of Thought), которые описывают шаги для решения конкретной задачи. Такой подход напоминает методы поиска, используемые AlphaZero, но адаптирован для работы с текстовыми данными.

Ключевые результаты o3:

• Полу-приватный набор задач: 75,7% (высокая эффективность) и 87,5% (низкая эффективность).

• Публичный набор задач: 82,8% (высокая эффективность) и 91,5% (низкая эффективность).

Несмотря на существенные затраты на вычисления, результат не является просто следствием “грубой силы”. Модель демонстрирует качественное улучшение в способности комбинировать знания и применять их к новым задачам.

Проблемы и ограничения

Хотя o3 впечатляет своими достижениями, система не является настоящим ИИ. Она до сих пор допускает ошибки в простых задачах и требует значительных ресурсов для выполнения сложных задач. Стоимость обработки одной задачи варьируется от $17 до $20, что пока делает её менее экономичной по сравнению с человеческим трудом.

Кроме того, даже с использованием мощных вычислений o3 не справляется с ~9% задач из публичного набора, которые являются простыми для человека. Это подчеркивает оставшиеся проблемы в разработке универсального ИИ.

Что дальше?

Развитие ARC-AGI продолжается. В 2025 году планируется запуск нового поколения тестов — ARC-AGI-2, которые обещают стать более сложными и точными. Конкурс ARC Prize будет продолжен с целью стимулировать создание эффективных и открытых решений для ИИ.

OpenAI также приглашает сообщество к анализу задач, не решенных o3, чтобы понять их характеристики и найти пути для дальнейшего улучшения моделей.

Что делает o3 уникальной моделью?

Главное отличие o3 от предыдущих моделей семейства GPT заключается в ее способности к генерации программ во время выполнения задач. Ранее GPT-модели использовали принцип “запомни и воспроизведи”, который ограничивал их адаптивность. o3 пошла дальше, добавив элемент синтеза программ для решения новых задач, что можно сравнить с “глубоким обучением, направленным на поиск программ”.

Особенности архитектуры o3:

• Поиск цепочек рассуждений (Chain of Thought): Модель исследует варианты шагов для выполнения задачи и выбирает наиболее подходящий путь.

• Руководство глубинным обучением: Поиск оптимальной последовательности действий основывается на обученных приоритетах модели.

• Реализация новых идей: o3 опирается на свежие концепции, выходящие за рамки традиционного масштабирования архитектур.

Этот подход позволил добиться качественного скачка в производительности, недостижимого только за счет увеличения вычислительных ресурсов или объема данных.

Влияние на развитие AGI

Появление o3 показывает, что для достижения настоящего AGI требуется больше, чем просто масштабирование. Нужны инновационные архитектуры, способные не только запоминать и воспроизводить информацию, но и гибко адаптироваться к новым ситуациям.

Тем не менее, важным остается факт, что даже высокий результат o3 на ARC-AGI не свидетельствует о достижении AGI. Система все еще далека от человеческого уровня интеллекта, особенно в задачах, где требуется реальное понимание или взаимодействие с окружающей средой.

Будущее ARC-AGI и открытые задачи

Следующим этапом в развитии станет запуск ARC-AGI-2, который запланирован на первый квартал 2025 года. Новое поколение тестов обещает еще более жесткие критерии оценки, продолжая подчеркивать слабые стороны современных ИИ-систем.

Особенности ARC-AGI-2:

• Задачи, проверенные на легкость для человека и сложность для ИИ.

• Новый формат тестов, направленный на оценку гибкости и адаптивности моделей.

• Ожидание, что даже продвинутые версии o3 столкнутся с серьезными трудностями.

Помимо этого, ARC Prize Foundation продолжит работу над созданием новых ориентиров для исследований, включая третий этап, который полностью отойдет от формата 2019 года.

Участие сообщества и перспективы

OpenAI призывает исследовательское сообщество участвовать в анализе результатов o3. Одной из главных целей является изучение причин, по которым модель не справляется с отдельными задачами, несмотря на значительные вычислительные мощности. Такой анализ может помочь в разработке более универсальных и экономичных решений.

Итог

Модель o3 представляет собой значительный шаг вперед в развитии искусственного интеллекта, демонстрируя способности, ранее недостижимые для систем GPT. Однако до полноценного AGI еще далеко. Тем не менее, этот прогресс открывает новые горизонты для исследований, подчеркивая важность креативных подходов и сотрудничества в научном сообществе.