Главное:
- Answer.AI и LightOn представили новую модель обработки естественного языка ModernBERT, превосходящую BERT от Google.
- ModernBERT обрабатывает текст в четыре раза быстрее и использует меньше памяти по сравнению с предшественником.
- Модель может работать с текстами длиной до 8192 токенов, что значительно превышает стандартный лимит в 512 токенов.
Преимущества ModernBERT
Совсем недавно компании Answer.AI и LightOn объявили о запуске оригинальной модели обработки естественного языка под названием ModernBERT. Эта модель, основанная на открытом исходном коде, призвана перевернуть подходы в NLP (Natural Language Processing), так как демонстрирует свои впечатляющие характеристики по сравнению с известной моделью BERT от Google.
По заявлениям разработчиков, ModernBERT обрабатывает текст в четыре раза быстрее, чем ее предшественник, и требует меньшего объема оперативной памяти. Это свояобразный прорыв, особенно для тех, кто знает, как важно иметь возможность быстро и эффективно обрабатывать большие объемы данных. Современное количество информации растет с каждым днем, и скорость обработки имеет критическое значение для многих приложений, преобразующих данные в полезную информацию.
Новые возможности и рекорды
ModernBERT способна работать с текстами длиной до 8192 токенов. Для сравнения, классические модели обработки текста, такие как BERT, имеют ограничение в 512 токенов. Это расширение возможностей, позволяющее исследовать более длинные контексты, может существенно повлиять на эффективность различных приложений, включая генерацию ответов, поиск информации и модерацию контента.
Также важно отметить, что ModernBERT была обучена на 2 триллионах токенов, содержащих данные из веб-документов, программного кода и научных статей. В результате, модель достигла более 80 баллов на тестовых наборах StackOverflow, установив новый рекорд для моделей, использующих только энкодер.
Экономическая эффективность и доступность
Разработчики акцентируют внимание на значительном снижении затрат на обработку текста с помощью ModernBERT. Например, для фильтрации 15 триллионов токенов в рамках проекта FineWeb Edu модель на базе BERT стоила порядка $60,000, тогда как та же задача с использованием ModernBERT могла бы быть выполнена за гораздо меньшую сумму.
Помимо этого, ModernBERT можно использовать без специализированного оборудования, что делает ее более доступной. Она эффективна даже на потребительских игровых GPU, что открывает новые горизонты для разработчиков и стартапов.
Кроме того, разработчики организовали конкурс, где призом будет $100 и шестимесячная подписка Hugging Face Pro для лучших проектов, использующих новейшую модель. Таким образом, они активно стимулируют разработку новых приложений, что только подтвердит успех ModernBERT на рынке.
Добавить комментарий