Исследователи из Unsloth уменьшили размер DeepSeek R1 на 80% от первоначального объема.

Главное:

• Исследователи компании Unsloth сжали нейросеть DeepSeek R1 с 720 ГБ до 131 ГБ.
• Метод динамической квантизации позволил сократить размер модели на 80% без значительных потерь качества.
• Сжатая модель может работать на менее мощном оборудовании, что открывает новые возможности для разработчиков.

Успехи работы с языковыми моделями

Недавние достижения в области машинного обучения вызывают всё больший интерес как у профессионалов, так и у любителей. Исследователи из компании Unsloth сделали важный шаг вперед, сжимая большую языковую модель DeepSeek R1 с 671 миллиарда параметров с первоначальных 720 ГБ до внушительных 131 ГБ. Это достижение стало возможным благодаря внедрению метода динамической квантизации, который позволяет сократить размеры моделей, не жертвуя их производительностью и качеством. Как уже показывают исследования, вес нейросетей часто можно уменьшать, не затрагивая важные элементы.

Сжатие нейросети является крайне важным шагом, поскольку большие языковые модели, такие как DeepSeek R1, традиционно требуют значительных вычислительных ресурсов. Такой подход позволит значительно облегчить их внедрение в различные приложения, так как сжатые версии моделей могут эффективно работать на более скромном оборудовании.

Тестирование сжатой модели

В рамках проверки функциональности сжатой версии нейросети была разработана игра — клон Flappy Bird. Сжатая модель продемонстрировала высокую оценку качества, набрав 9 баллов из 10 по критериям, включая возможность запуска кода и точность выполнения технического задания. Этот успех говорит о том, что истина о том, что меньший размер модели влечет за собой потерю качества, не всегда остается актуальной.

Кроме того, результаты испытаний показывают, что из 100% весов модели только 12% остаются практически неизменными, в то время как остальные 88% были сжаты до 1,58 бита. Необходимость в сохранении значимых слоев нейросети подчеркивает важность продуманной стратегии сжатия, что может оказать значительное влияние на будущее обработки данных и разработку на базе искусственного интеллекта.

Перспективы для разработчиков

Сжатая версия DeepSeek R1 уже доступна для использования на платформе Hugging Face, что открывает новые горизонты для разработчиков. Возможность разрабатывать и запускать сложные языковые модели на менее мощном оборудовании снизит барьер входа для стартапов и небольших компаний. Это, в свою очередь, может способствовать внедрению инновационных технологий в самые различные отчеты и повседневные приложения.

В целом, результаты работы исследователей из Unsloth и их методы сжатия языковых моделей подчеркивают важные этапы в развитии технологий машинного обучения. Упрощение доступа к мощным инструментам ИИ приведет к новым открытиям и применениям в разных областях. Важно помнить, что такие достижения, как уменьшение размеров моделей, открывают возможности для дальнейших инноваций в области искусственного интеллекта, что сделает этот сектор еще более динамичным и многообещающим.