Тестирование упрощает и удешевляет обучение ИИ программированию: исследование китайских ученых по методике TDD.

Главное:

• Китайские ученые представили новую методику обучения ИИ с использованием тестов для повышения эффективности программирования.
• Методика позволила увеличить производительность моделей в сравнении с аналогами, не прибегая к дорогим ручным процессам.
• Обучение с использованием reinforcement learning продемонстрировало значительное улучшение точности программирования на различных бенчмарках.

Инновации в обучении ИИ

Недавние исследования китайских ученых из TigerLab представили интересный подход, который ставит под сомнение традиционные методы обучения искусственного интеллекта. Основная идея заключается в использовании тестов для автоматической проверки результатов работы ИИ, что позволяет сократить участие человека в процессе разметки данных и подготовки обучающих наборов. Такие традиционные этапы, как Supervised Fine-Tuning, требуют значительных ресурсов и времени, а предложенная методика уже демонстрирует свою эффективность.

Согласно проведенным экспериментам, новые подходы позволили существенно повысить производительность модели Llama-3 на 10% и Qwen2 на 5%. Это значительное улучшение дает возможность малым моделям конкурировать с более крупными аналогами, что в свою очередь может привести к снижению затрат на обучение и более широкому распространению технологий ИИ.

Преимущества тестов как метода обучения

Исследование подчеркивает, что тесты могут быть созданы с помощью простых алгоритмов, что снижает требования к интеллектуальной мощности ИИ. Это означает, что даже относительно простые модели могут использоваться для контроля качества работы более сложных систем. Например, использование простой модели с полным перебором для проверки правильности ответов существенно упрощает процесс.

В контексте конкретных результатов, обучение с подкреплением, использующее как модели вознаграждения, так и тест-кейсы, позволило улучшить показатели на таких популярных бенчмарках, как HumanEval, MBPP и BigCodeBench. Например, результаты на HumanEval-plus возросли на 25%, что является впечатляющим достижением за всего лишь 80 шагов оптимизации.

Ближайшие перспективы развития

С каждым новым достижением в области ИИ, как мы видим из вышеописанного, мы приближаемся к новому этапу в его развитии. Технологии, позволяющие значительно уменьшить количество ручного труда в подготовке обучающих данных, видимо, станут трендом в ближайшие годы. Очевидно, что дальнейшее развитие прогнозируемо приведет к появлению новых методов и подходов на стыке ИИ и программирования.

Как рассудительный эксперт, я считаю, что важно следить за такими исследованиями и анализировать их влияние на будущее технологий. Будем надеяться, что новые методики принесут человечеству больше возможностей, а также помогут преодолеть существующие барьеры в рамках развития искусственного интеллекта.