Google Colab: что это такое и как с ним работать

Google Colaboratory — бесплатная среда, чтобы писать код в jupyter notebook. Она функционирует по принципу облака, поэтому над одним проектом могут работать одновременно несколько человек. Программа предоставляет доступ к графическим процессорам GPU и TPU. Благодаря их мощности можно исследовать искусственный интеллект и развивать приложения на основе нейросетей. Сервис бесплатный. Единственное ограничение — через 12 часов данные удаляются.

Кому нужен Google Colab

С помощью Colab пишут код на Python прямо в браузере, и здесь же он выполняется. Всё, что требуется, — доступ к гугл-аккаунту.

Colab позволяет использовать в одном файле исполняемый код, html-разметку, картинки. Всё будет храниться на гугл-диске. Этими файлами можно делиться: разрешать просматривать, редактировать и оставлять комментарии для совместной работы.

Colab подходит специалистам по обработке данных и разработчикам нейросетей. Он помогает:

• сортировать данные,
• строить визуализации,
• проводить машинное обучение,
• создавать системы для big data,
• составлять прогнозы,
• писать руководства.

Так что знание языка Python помогает сделать более быстрой и эффективной работу аналитика данных. Освоить эту профессию можно в Skypro на курсе «Аналитик данных». В программе есть блок, который посвящен изучению Python для обработки и визуализации данных.

Как работать с Google Colab

Colab поддерживает версии Python 2.7 и 3.6, но не работает с языками R или Scala. Есть ограничения по времени. Если оставить блокнот в режиме ожидания, через полчаса система выключит процессоры.

Подготовка

Colab по умолчанию сохраняет блокноты на гугл-диске. Перед началом работы убедитесь, что вы вошли в аккаунт, а затем создайте отдельную папку под готовые проекты.

Запустите блокнот. Нажмите «Создать» → «Еще» → Google Colaboratory. Чтобы переименовать блокнот, щелкните на имя файла.

Настройка

Определитесь с процессором. Если выбрать слишком мощный, есть риск вылететь из блокнота. Чтобы попасть в настройки процессора, выберите вкладку «Среда выполнения» и команду «Сменить среду управления».

Запуск основных команд Python

В Colab много встроенных библиотек Python: Pandas, NumPy, Scikit-learn. Чтобы посмотреть полный список, введите команду:

!pip list

Чтобы импортировать сторонние библиотеки, используйте команды:

!pip install имя_библиотеки
import имя_библиотеки

Обратите внимание на восклицательный знак. В Colab его ставят перед большинством команд.

Попробуйте запустить простой код. Например, напишите в строке ввода:

import time
print(time.ctime())

Чтобы выполнить код, щелкните на значок Play в левой части окна кода. Через некоторое время вы увидите результат:

Пн 27 дек 12:01:26 2021

Чтобы очистить строку, щелкните на значок крестика в левой части окна.

Аналитики — одни из самых востребованных специалистов на рынке труда. Освоить профессию с нуля можно на курсе Skypro «Аналитик данных» и найти работу уже в процессе учебы. Преподаватели — эксперты в аналитике из топовых компаний: Skyeng, «Авито», «СберМаркет» и других. У вас будет вечный доступ к материалам и регулярным обновлениям программы, а еще гарантия трудоустройства: найдем вам работу или вернем деньги за курс.

Запуск или импорт файлов .py

Чтобы подключить сторонние файлы с данными или кодом, нужно импортировать утилиту drive. Она монтирует диск к Colab:

from google.colab import drive
drive.mount ('/content/drive')

Когда выполните код выше, подтвердите, что разрешаете использовать диск.

Как импортировать файлы:

• напрямую закидывать на диск;
• скачать из интернета;
• скачать с Git-репозитория.

Последние два варианта исполняют непосредственно из Colab, дополнительно используют встроенные утилиты.

Возьмем типичный для новичков код:

 print("Hello World!") 

Это команда, которая выводит на экран содержимое введенной строки — Hello World. Закиньте это в файл test.py и положите его в корень диска. После монтирования диска введите команду !ls, чтобы проверить наличие файла:

!ls /content/drive/MyDrive/

Чтобы исполнить файл, введите команду запуска !python3 и путь до файла:

!python3 '/content/drive/MyDrive/test.py'

Чтобы скачать репозиторий (GitHub, Bitbacket и другие), используйте команду

!git clone path\to\repo

После скачивания он будет доступен по пути /content/name_repo.

Например,

!git clone https://github.com/FabiozZz/test_colab/blob/master/test.py

Скачанный репозиторий будет лежать в /content/test_colab.

Чтобы выполнить этот код через !python3, команда выглядит так:

!python3 '/content/test_colab/test.py' 

Чтобы скачать файл из интернета — команда

!wget path/to/link 

Для примера скачаем картинку. Напишем команду:

!wget -P drive/MyDrive https://www.gettyimages.com/gi-resources/images/500px/983794168.jpg

Здесь добавляем флаг -P, чтобы указать место, куда сохраняем файл.

Облачные среды, которые похожи на Google Colab

Yandex DataSphere — платный сервис с тарификацией по времени. Когда зарегистрируете аккаунт, в начале пробного периода получите грант 4000 ₽, который действует 60 дней.

Kaggle Kernels — сервис с поддержкой R и различными интеграциями. Время доступа к процессорам — 9 часов.

Azure Notebooks, как и Yandex DataSphere, тарифицируется по времени. Поддерживает языки Python, .Net, JS, Java, Go.

[webinars]

Стать аналитиком данных можно за 12 месяцев на курсе Skypro. Вы научитесь работать в Excel, SQL, Google Sheets и Python, а еще сможете обрабатывать большие массивы данных, визуализировать их и делать выводы для развития бизнеса. В программе — только нужные навыки, которые вы будете использовать в реальной работе аналитиком. Специалисты центра карьеры помогут составить резюме, портфолио и научат проходить собеседования.

Коротко о Google Colab

• Colab — бесплатный сервис, чтобы создавать код на Python. Другие языки не поддерживаются.
• Главная фишка Colab — возможность писать проект на мощностях процессоров GPU и TPU. Именно их используют специалисты по big data и исследователи искусственного интеллекта.
• В Colab можно загружать папки с гугл-диска, клонировать репозитории.
• У Google есть подробное руководство по работе с сервисом.