Сэм Альтман: Слияние LLM и LRM может привести к открытию новых научных горизонтов

Главное:

• Сэм Альтман, гендиректор OpenAI, заявил, что текущее развитие языковых моделей (LLM) достигло предела.
• Объединение LLM с моделями рассуждения (LRM) может привести к новым научным открытиям.
• OpenAI продолжает исследования в области безопасного открытого исходного кода, несмотря на сомнения в своем подходе.

Проблемы масштабируемости LLM

По словам Сэма Альтмана, обучение языковых моделей (LLM) с использованием массивных данных стало менее эффективным. Это явление, описанное как «стену масштабирования», наблюдается не только в OpenAI, но и в более широкой индустрии искусственного интеллекта. Данные показывают, что несмотря на постоянный рост вычислительных мощностей, прирост эффективности новых моделей не соответствует ожиданиям. Учитывая текущие вызовы в области масштабируемости, все больше экспертов приходит к выводу, что необходимы новые подходы и технологии.

Новые возможности через модели рассуждений

Альтман подчеркивает, что вместо сосредоточения исключительно на предварительном обучении, OpenAI рассматривает специализированные модели, оптимизированные с помощью обучения с подкреплением (RL). Эти так называемые большие модели рассуждений (LRM) имеют потенциал значительно повысить эффективность вычислений. Они уже показывают отличные результаты в таких областях, как программирование и математика. Интересно, что их последняя модель была оценена среди лучших программистов мира, что говорит о высоком уровне технологического прогресса.

Перспективы открытого исходного кода

Сэм Альтман также отметил, что OpenAI намерена вернуться к практикам открытого исходного кода. Это заявление, безусловно, вызвало интерес в сообществе, которое искало более открытые методологии разработки. Хотя ненадлежащее использование таких технологий остается серьезной проблемой, Альтман уверен, что OpenAI добилась значительного прогресса в создании безопасных и надежных моделей. К тому же конкуренция с такими игроками, как китайская компания Deepseek, подчеркивает необходимость пересмотра подходов к открытости и сотрудничеству в дальнейших разработках.

Таким образом, текущие разработки в области языковых моделей не только ставят перед исследователями новые вызовы, но и открывают новые горизонты для научных и практических исследований. Комбинирование моделей LLM и LRM может не только улучшить производительность, но и способствовать созданию подлинно новых научных знаний.