Главное:
- Первые результаты исследования по сравнению AI Copilot’ов были получены на платформе LMSYS Arena.
- Исследование проводилось на основе более 10,000 голосов пользователей, что позволило собрать статистически значимые данные.
- Наиболее часто плагинами пользовались разработчики на Python, за ними следовали JavaScript и другие языки программирования.
Подробности исследования LMSYS Arena
На платформе LMSYS Arena было проведено первое исследование, в рамках которого оценивались AI Copilot’ы для программирования. Это, безусловно, важный шаг к лучшему пониманию эффективности искусственного интеллекта в сфере разработки. Несмотря на то, что новое поколение моделей выходит регулярно, результаты голосования (более 10,000) предоставили уникальные данные, позволяющие анализировать качество работы различных AI Copilot’ов. Сравнительное исследование стало возможным благодаря постоянному участию от 200 до 250 пользователей в день, что подтверждает актуальность собранной информации.
Интересные статистические данные
Одной из интересных подробностей является медианный размер запросов к AI Copilot’ам, который составил 530 токенов — это в пять раз больше, чем в текстовых запросах на обычной арене, где размер запросов составлял около 100 токенов. Это подчеркивает тот факт, что разработчики, использующие данные технологии, стремятся получать более глубокие и сложные ответы, а не просто краткие рекомендации. Высокий интерес к Copilot’ам также свидетельствует о том, что они всё более интегрируются в рабочие процессы разработчиков.
Перспективы технологий AI в программировании
С учётом полученных данных можно ожидать, что технологии AI в программировании будут продолжать эволюционировать. Интересный момент заключается в том, что главными пользователями AI инструментария являются разработчики на Python, язык, который активно используется в области машинного обучения и анализа данных. Следующей по популярности стала экосистема JavaScript, что также указывает на растущий интерес к новым инструментам в веб-разработке. Пока трудно предсказать долгосрочные последствия этого исследования, но оно уже сейчас открывает новые горизонты для применения AI в программировании и может стать основой для будущих исследований в этой области.
Добавить комментарий