Ai4Dev представил рейтинг топовых LLM-копилотов для программистов

Главное:

• Команда Chatbot Arena представила рейтинг лучших копайлотов для программирования на основе исследования с участием более 10000 запросов.
• Плагин копилот для VSCode позволил пользователям выбирать между ответами различных LLM, что дало статистику предпочтений среди разработчиков.
• Основное использование плагина наблюдается среди разработчиков на Python и JavaScript.
• Медианный размер запросов к копайлотам в пять раз превышает текстовые запросы на обычной арене.

Инновация в мире программирования

Большое внимание в последние годы привлекают системы искусственного интеллекта, способные выступать в роли так называемых «копайлотов» для программистов. Появление плагина для Visual Studio Code (VSCode) от команды Chatbot Arena является одним из таких новшеств. Этот инструмент позволяет пользователям IDE легко получать помощь в написании кода, передавая запросы на автономные LLM (large language models). Плагины такого рода открывают новые горизонты в разработке и повышают продуктивность программистов, позволяя им сосредотачиваться на задачах, требующих творческого подхода, а не на рутинном написании кода.

Методология исследования

Исследование, проведенное командой LMSYS, основывалось на анализе более чем 10000 запросов, поступивших от пользователей плагина в течение месяца. Каждый пользователь мог выбрать между двумя обезличенными ответами от случайно выбранных LLM, что обеспечивало объективность в оценке. Важно отметить, что статистические данные стали доступны благодаря тому, что за месяц было зарегистрировано примерно 200-250 постоянных пользователей. Этот подход обеспечивает не только высокую надежность результатов, но и возможность применения их в реальных условиях программирования.

Тенденции и выводы

Статистика показала, что наибольшее количество пользователей плагина — разработчики на языках Python и JavaScript, что вполне ожидаемо, учитывая популярность этих языков. Медианный размер запросов оказался равным 530 токенов, что в пять раз больше, чем текстовые запросы на обычной арене. Это может свидетельствовать о том, что программисты предпочитают задавать более сложные и разнообразные задачи, требующие принятия сложных решений при написании кода.

Результаты рейтинга подтверждают, что AI-инструменты для разработки кода все более востребованы благодаря своей способности оптимизировать процесс программирования и повышать его эффективность. Это открывает новые горизонты как для индивидуальных разработчиков, так и для команд разработчиков, стремящихся улучшить процесс создания программного обеспечения.