Вебинары Разобраться в IT Реферальная программа Тесты
Программирование Аналитика Дизайн Маркетинг Управление проектами
27 Янв 2025
2 мин
11

Исследование показывает, что нейросеть Devin, представленная как «ИИ-программист», неэффективно выполняет свои задачи.

Инструмент Devin, предназначенный для замены программистов, успешно справился лишь с 3 из 20 задач, показав низкую эффективность.

Главное:

  • Нейросеть Devin, представленная стартапом Cognition, оказалась неэффективной в выполнении программных задач.
  • Из 20 тестовых задач лишь 3 были успешно выполнены, что подчеркивает ограниченные способности технологии.
  • Проблемы в работе Devin вызывают сомнения в реальных возможностях ИИ заменить программистов-людей.

Неудачные испытания нейросети Devin

Недавнее исследование, проведенное учеными из научно-исследовательской лаборатории Answer.AI, выявило значительные недостатки в работе нейросети Devin, разработанной американским стартапом Cognition. Инструмент, который позиционировался как «ИИ-программист», показал крайне низкие результаты: за время тестирования он успешно справился лишь с тремя задачами из двадцати. Это ставит под сомнение обоснованность предположений о том, что ИИ может полноценно заменить человека в программировании.

Исследователи заметили, что, хотя начиналось все многообещающе — Devin успешно обработал данные из базы данных Notion и создал трекер для наблюдений за планетами, впоследствии ИИ столкнулся с серьезными трудностями. Задания, которые выглядели простыми, затягивались порой на дни, в то время как результат оказался невыносимым: ИИ застревал в тупиках или выдавал сложные решения, которые не имели практической ценности.

Современные возможности и реальность

Согласно заявлению разработчиков, Devin должен был обладать богатым функционалом, включая создание полнофункциональных веб-приложений, адаптацию к новым языкам и библиотекам, а также автономное выявление и исправление ошибок в коде. Однако проведенные тесты демонстрируют, что, несмотря на наличие этих возможностей, реальная эффективность инструмента значительно ниже заявленной.

К примеру, в одной из задач, требующих развертывания приложений на платформе Railway, Devin не сумел правильно интерпретировать задание и провел более суток, пробуя нерабочие подходы. Это подтверждает мнения о том, что, несмотря на впечатляющие возможности нейросетей, они могут не только не решать поставленные задачи, но и запутываться в простейших сценариях.

Проблемы предсказуемости и доверия к ИИ

Исходя из текущих результатов, будущее использования нейросетей в программировании вызывает существенные сомнения. Один из исследователей отметил, что наблюдение за работой Devin вызвало действительно серьезные опасения: «У нас были трудности с предсказанием, какие задачи будут выполнены успешно. Даже когда ИИ прозрачным образом одерживал победы, это порой сопровождалось потерь времени на совсем нецелесообразные подходы.»

Подобная неопределенность подрывает доверие к системам ИИ, которые призваны повысить производительность в сферах, требующих креативности и анализа. Данная ситуация подчеркивает необходимость более глубокого осмысления разработок в области искусственного интеллекта, прежде чем разглашать пользователям его возможности как абсолютно надежные и эффективные.

Добавить комментарий