Главное:
- Google представил новый ИИ-ускоритель Trillium на платформе Google Cloud.
- Ускоритель обеспечивает более чем четырехкратное увеличение производительности моделей по сравнению с предыдущим TPU v5e.
- Trillium оптимизирован для больших ИИ-проектов с улучшенной энергоэффективностью на 67%.
Что такое Trillium и его особенности
Google анонсировала новый ИИ-ускоритель TPU v6 под названием Trillium, который теперь доступен для тестирования на платформе Google Cloud. Этот ускоритель наделен 32 ГБ памяти HBM с впечатляющей пропускной способностью 1,6 ТБ/с. Важно отметить, что Trillium использует специальные блоки SparseCore третьего поколения, позволяющие значительно оптимизировать задачи, связанные с ИИ, включая системы рекомендаций и ранжирование контента.
Кроме того, интерфейс ICI (Inter-Chip Interconnect) обеспечивает передачу данных на скоростях до 3,58 Тбит/с, что позволяет ускорителям в кластере обмениваться данными более эффективно. Это, в свою очередь, дает возможность обрабатывать большие объемы данных в короткие сроки.
Преимущества TPU v6 в сравнении с предыдущими версиями
Проведенные тесты Trillium показали, что новый ускоритель превосходит все предыдущие версии TPU, предлагая значительно улучшенные характеристики. Например, при обучении моделей, таких как Gemma 2-27b и Llama2-70B, производительность увеличивается более чем в четыре раза по сравнению с TPU v5e. Для моделей, таких как LLama2-7b, данное увеличение составляет более чем в три раза.
Одним из самых значительных аспектов нового устройства является его энергия. Усовершенствованная структура позволяет повысить энергоэффективность на 67%, что критически важно в эпоху растущих цен на энергоносители и усиливающегося внимания к устойчивому развитию и «зеленым» технологиям.
Инфраструктура и масштабируемость Trillium
Каждый узел системы Trillium состоит из восьми TPU v6e, двух процессоров с 180 vCPU, 1,44 ТБ оперативной памяти и четырех 200G-адаптеров для связи с другими системами. Эта архитектура позволяет объединять до 256 устройств Trillium в кластере, обеспечивая пропускную способность сети до 25,6 Тбит/с.
Использование оптической платформы Google Jupiter дает возможность объединить большие кластеры, состоящие из десятков тысяч ускорителей, что в целом создаёт мощные ресурсы для решения сложных ИИ-задач. Достижению высоких показателей производительности помогает специальное программное обеспечение Multislice, позволяющее почти линейно масштабировать производительность, особенно в задачах обучения моделей ИИ.
С новыми возможностями TPU v6 и Trillium Google подтверждает свое стремление оставаться на переднем крае технологий и предлагает своим клиентам решения, способные справляться с возрастающими потребностями в области обработки и анализа данных.
Добавить комментарий