Pandas в Python: мощный инструмент для анализа данных – возможности

Для кого эта статья:

• Студенты и начинающие специалисты, интересующиеся аналитикой данных и Python
• Профессионалы в области data science, желающие улучшить свои навыки работы с библиотекой pandas

• Работники, стремящиеся освоить современные инструменты для анализа данных в бизнесе

  Библиотека pandas — это абсолютный must-have инструмент для каждого, кто серьезно работает с данными в Python. Мощная, гибкая и молниеносно быстрая, она превращает хаотичные массивы цифр в структурированные наборы данных, с которыми можно творить настоящие аналитические чудеса. Неудивительно, что 9 из 10 дата-сайентистов в LinkedIn называют pandas своим основным рабочим инструментом. И хотя возможности этой библиотеки кажутся бесконечными, освоить основные приемы работы можно значительно быстрее, чем вы думаете. 🐼

Хотите глубоко погрузиться в аналитику данных и стать востребованным специалистом? Профессия аналитик данных от Skypro — это ваш прямой путь в мир данных. На курсе вы не только освоите pandas на профессиональном уровне, но и научитесь превращать сырые данные в инсайты, которые меняют бизнес. Программа разработана практикующими аналитиками из топовых компаний и ориентирована на реальные проекты. Начните карьеру аналитика уже через 9 месяцев!

Установка и первые шаги с библиотекой pandas в Python

Прежде чем погружаться в увлекательный мир анализа данных, необходимо правильно установить pandas. Процесс установки прост, но требует внимания к деталям — некорректная установка может привести к неожиданным ошибкам во время работы.

Для установки библиотеки воспользуйтесь пакетным менеджером pip:

pip install pandas

Если вы предпочитаете использовать Anaconda — популярную платформу для научных вычислений, команда будет следующей:

conda install pandas

После успешной установки первое, что следует сделать — импортировать библиотеку в свой Python-проект. Традиционно pandas импортируется с алиасом pd:

import pandas as pd

Этот алиас — негласный стандарт в сообществе Python-разработчиков, и его использование сделает ваш код более читаемым для других специалистов.

Андрей Смирнов, ведущий аналитик данных

Однажды я получил задачу проанализировать финансовые показатели компании за пять лет. Исходные данные представляли собой десятки Excel-файлов с разной структурой и форматированием. До знакомства с pandas я бы потратил недели на ручную обработку. Но используя простой код:

Python

Скопировать код

import pandas as pd
import glob

# Получаем список всех Excel-файлов в директории
excel_files = glob.glob('data/*.xlsx')

# Создаем пустой DataFrame для объединения данных
combined_data = pd.DataFrame()

# Проходим по каждому файлу и добавляем данные в общий DataFrame
for file in excel_files:
df = pd.read_excel(file)
combined_data = pd.concat([combined_data, df])

Я автоматизировал объединение всех таблиц за 30 минут! Это дало мне время сфокусироваться на анализе, а не на подготовке данных. Pandas сэкономил не только время, но и, возможно, мою карьеру — дедлайн был критическим.

Теперь рассмотрим основные структуры данных в pandas:

Создание простейшего Series выглядит так:

s = pd.Series([1, 3, 5, np.nan, 6, 8])

А базовый DataFrame можно создать несколькими способами:

# Из словаря
data = {'Name': ['John', 'Anna', 'Peter', 'Linda'],
'Age': [28, 34, 29, 42],
'City': ['New York', 'Paris', 'Berlin', 'London']}
df = pd.DataFrame(data)

# Из списка словарей
data_list = [{'Name': 'John', 'Age': 28}, {'Name': 'Anna', 'Age': 34}]
df2 = pd.DataFrame(data_list)

Первые шаги с pandas требуют понимания его основной философии — векторизованных операций. В отличие от традиционных циклов Python, pandas оптимизирован для работы с целыми наборами данных одновременно, что значительно ускоряет обработку. Например, умножение всех значений числового столбца на 2 происходит одной командой:

df['Age'] = df['Age'] * 2

Эта операция выполняется намного быстрее, чем итерация по каждой строке в цикле.

Работа с DataFrame: загрузка и базовая обработка данных

DataFrame — это сердце библиотеки pandas, двумерная структура данных, напоминающая таблицу Excel или SQL-таблицу. Именно с ней вы будете работать в большинстве случаев. Начнем с загрузки данных из различных источников.

Pandas предлагает широкий спектр функций для импорта данных:

• pd.read_csv() — чтение CSV-файлов
• pd.read_excel() — работа с Excel-таблицами
• pd.read_sql() — загрузка данных из SQL-баз
• pd.read_json() — обработка JSON-файлов
• pd.read_html() — парсинг HTML-таблиц

Допустим, у нас есть файл sales_data.csv с данными о продажах. Загрузим его в DataFrame:

df = pd.read_csv('sales_data.csv')

После загрузки данных необходимо их исследовать. Вот ключевые методы для быстрого ознакомления с содержимым DataFrame:

# Посмотреть первые 5 строк
df.head()

# Последние 5 строк
df.tail()

# Общая информация о DataFrame
df.info()

# Статистическое описание числовых столбцов
df.describe()

# Размерность DataFrame (строки, столбцы)
df.shape

# Названия столбцов
df.columns

Базовая обработка данных обычно включает следующие операции:

1. Переименование столбцов для удобства работы:

df = df.rename(columns={'old_name': 'new_name', 'another_old': 'another_new'})

2. Обработка пропущенных значений — один из критических этапов:

# Проверка наличия пропусков
df.isnull().sum()

# Заполнение пропусков
df['column_name'].fillna(value, inplace=True)

# Удаление строк с пропусками
df.dropna(subset=['column_name'], inplace=True)

3. Изменение типов данных для корректной обработки:

# Преобразование в числовой тип
df['price'] = pd.to_numeric(df['price'], errors='coerce')

# Преобразование в дату
df['date'] = pd.to_datetime(df['date'])

Работая с большими наборами данных, полезно знать методы выбора подмножеств данных:

Для добавления новых столбцов на основе существующих используем векторизованные операции:

# Создание столбца с выручкой
df['revenue'] = df['price'] * df['quantity']

# Применение функции к столбцу
df['discount_price'] = df['price'].apply(lambda x: x * 0.9 if x > 100 else x)

Анализ и фильтрация данных с помощью pandas

Возможность эффективно фильтровать и анализировать данные — одно из ключевых преимуществ pandas. Используя логические операторы и булевы маски, вы можете создавать сложные критерии фильтрации практически без ограничений. 🔍

Начнем с простых фильтров:

# Выбор строк, где значение столбца соответствует условию
high_value_sales = df[df['price'] > 1000]

# Множественные условия с логическими операторами
target_segment = df[(df['age'] > 30) & (df['income'] > 50000)]

# Фильтрация по списку значений
specific_categories = df[df['category'].isin(['Electronics', 'Furniture'])]

Для более сложного анализа полезны методы query() и eval(), которые позволяют писать условия в более понятном виде:

# Использование метода query()
premium_customers = df.query('purchase_frequency > 10 and total_spent > 5000')

# Метод eval() для создания вычисляемых столбцов
df.eval('profit = revenue – cost', inplace=True)

Важной частью анализа является поиск дубликатов и уникальных значений:

# Поиск и удаление дублирующихся строк
duplicates = df[df.duplicated()]
df_clean = df.drop_duplicates()

# Уникальные значения столбца
unique_categories = df['category'].unique()
category_counts = df['category'].value_counts()

Мария Ковалева, data science консультант

Работая над проектом для ритейл-клиента, я столкнулась с задачей определения аномального поведения покупателей. В базе было более 5 миллионов транзакций, и традиционные методы не справлялись с таким объемом.

Использование pandas позволило мне элегантно решить эту проблему:

Python

Скопировать код

# Группировка по клиентам и вычисление статистик
customer_stats = df.groupby('customer_id').agg({
'transaction_amount': ['mean', 'std', 'count'],
'transaction_date': ['min', 'max']
})

# Преобразование мультииндекса для удобства
customer_stats.columns = ['_'.join(col).strip() for col in customer_stats.columns.values]
customer_stats.reset_index(inplace=True)

# Выявление аномалий — транзакции, превышающие среднее + 3 стандартных отклонения
customer_stats['upper_bound'] = customer_stats['transaction_amount_mean'] + 3 * customer_stats['transaction_amount_std']

# Объединение с основным DataFrame для поиска аномальных транзакций
merged_data = df.merge(customer_stats[['customer_id', 'upper_bound']], on='customer_id')
anomalies = merged_data[merged_data['transaction_amount'] > merged_data['upper_bound']]

Этот анализ занял всего несколько минут и выявил 267 подозрительных транзакций, которые оказались результатом ошибок в системе и потенциальных мошеннических действий. Клиент смог предотвратить потери на сумму более $150,000. Вот почему я считаю pandas не просто библиотекой, а настоящим аналитическим оружием.

Pandas также предлагает мощные инструменты для работы с временными рядами и датами:

# Преобразование столбца в формат даты
df['date'] = pd.to_datetime(df['date'])

# Фильтрация по диапазону дат
recent_data = df[(df['date'] >= '2022-01-01') & (df['date'] <= '2022-12-31')]

# Удобные методы для работы с датами
df['month'] = df['date'].dt.month
df['day_of_week'] = df['date'].dt.day_name()

# Ресемплинг временных рядов
monthly_sales = df.set_index('date').resample('M')['sales'].sum()

Для более глубокого понимания данных полезно использовать статистические методы:

• df.corr() — расчет корреляции между числовыми столбцами
• df.cov() — расчет ковариационной матрицы
• df['column'].quantile([0.25, 0.5, 0.75]) — расчет квартилей
• df.groupby('category')['sales'].agg(['mean', 'median', 'std']) — агрегированные статистики по группам

Преобразование и группировка данных для эффективного анализа

Трансформация и группировка данных — это те операции, которые по-настоящему раскрывают аналитический потенциал pandas. Они позволяют перейти от простого просмотра данных к извлечению бизнес-инсайтов и статистически значимых паттернов. 📊

Метод groupby() — один из мощнейших инструментов для анализа в pandas. Он работает по принципу "разделяй, применяй, комбинируй":

# Базовая группировка по одному столбцу
by_category = df.groupby('category')['sales'].sum()

# Группировка по нескольким столбцам
by_region_and_category = df.groupby(['region', 'category'])['sales'].sum()

# Применение нескольких агрегирующих функций
sales_analysis = df.groupby('product_line').agg({
'sales': ['sum', 'mean', 'count'],
'profit': ['sum', 'mean', 'min', 'max']
})

Для более сложного анализа полезно знать о возможности создания пользовательских агрегирующих функций:

# Определяем собственную функцию агрегации
def profit_ratio(x):
return (x.sum() / df['sales'].sum()) * 100

# Применяем её вместе со стандартными
result = df.groupby('category')['profit'].agg(['sum', profit_ratio])

Иногда требуется не только сгруппировать данные, но и преобразовать их формат. Для этого в pandas есть мощные методы pivot, pivot_table, melt, stack и unstack:

# Создание сводной таблицы
pivot_table = pd.pivot_table(
df, 
values='sales', 
index=['region', 'category'],
columns='year', 
aggfunc='sum',
fill_value=0
)

# Преобразование из "широкого" формата в "длинный"
melted_df = pd.melt(
df, 
id_vars=['date', 'region'], 
value_vars=['sales', 'profit'],
var_name='metric', 
value_name='value'
)

# Многоуровневая индексация и работа с ней
stacked = df.set_index(['region', 'category']).stack()
unstacked = stacked.unstack()

Еще одна важная техника — оконные функции (rolling, expanding, ewm), которые позволяют выполнять скользящие и расширяющиеся вычисления:

# Скользящее среднее за 7 дней
df['7d_rolling_avg'] = df.set_index('date')['sales'].rolling('7D').mean()

# Расширяющееся (кумулятивное) суммирование
df['cumulative_sales'] = df.sort_values('date')['sales'].expanding().sum()

# Экспоненциально взвешенное среднее
df['ewm_avg'] = df['value'].ewm(span=7).mean()

Для аналитических задач часто требуется работа с временными интервалами:

Применение этих функций может выглядеть так:

# Преобразование ежедневных данных в месячные
monthly_data = df.set_index('date').resample('M').sum()

# Сдвиг данных для сравнения с предыдущим месяцем
monthly_data['previous_month'] = monthly_data['sales'].shift(1)

# Расчет изменения и процентного изменения
monthly_data['sales_change'] = monthly_data['sales'].diff()
monthly_data['sales_pct_change'] = monthly_data['sales'].pct_change() * 100

Для объединения и комбинирования данных из разных источников pandas предлагает функции merge(), join() и concat():

# Объединение таблиц (аналог SQL JOIN)
combined = pd.merge(
customers_df, 
orders_df, 
on='customer_id', 
how='left'
)

# Вертикальное объединение таблиц
all_years = pd.concat([df_2020, df_2021, df_2022], ignore_index=True)

# Объединение по индексу
result = df1.join(df2, how='inner')

Визуализация результатов анализа с библиотекой pandas

Визуализация — это мощный способ донести результаты анализа до заинтересованных сторон. Pandas предлагает встроенные инструменты визуализации, которые идеально подходят для быстрого исследовательского анализа данных. Однако для создания сложных визуализаций библиотека использует возможности matplotlib, а также хорошо интегрируется с другими библиотеками визуализации. 📈

Базовые графики можно создавать непосредственно из DataFrame, используя метод plot:

# Линейный график
df.set_index('date')['sales'].plot(figsize=(10, 6), title='Динамика продаж')

# Столбчатая диаграмма
df.groupby('category')['sales'].sum().plot.bar(figsize=(12, 6))

# Круговая диаграмма
df.groupby('region')['profit'].sum().plot.pie(figsize=(8, 8), autopct='%.1f%%')

# Гистограмма
df['price'].plot.hist(bins=20, figsize=(10, 6))

# Диаграмма рассеяния
df.plot.scatter(x='price', y='sales', alpha=0.5, figsize=(10, 6))

# Ящик с усами (Box plot)
df.boxplot(column='sales', by='category', figsize=(12, 8))

Для создания более сложных визуализаций часто требуется использовать возможности matplotlib напрямую:

import matplotlib.pyplot as plt

# Создание фигуры и осей
fig, ax = plt.subplots(figsize=(12, 8))

# Построение графика на созданных осях
df.groupby('category')['sales'].sum().sort_values().plot.barh(ax=ax)

# Настройка параметров
ax.set_title('Продажи по категориям', fontsize=16)
ax.set_xlabel('Объем продаж', fontsize=12)
ax.set_ylabel('Категория', fontsize=12)

# Отображение значений на графике
for i, v in enumerate(df.groupby('category')['sales'].sum().sort_values()):
ax.text(v + 100, i, f'{v:,.0f}', va='center')

plt.tight_layout()
plt.show()

Для создания нескольких графиков на одной фигуре:

# Создание фигуры с подграфиками
fig, axes = plt.subplots(2, 2, figsize=(14, 10))

# Построение разных графиков на разных осях
df.groupby('region')['sales'].sum().plot.bar(ax=axes[0, 0], title='Продажи по регионам')
df.set_index('date')['sales'].plot(ax=axes[0, 1], title='Динамика продаж')
df.plot.scatter(x='marketing', y='sales', ax=axes[1, 0], title='Влияние маркетинга')
df['profit_margin'].plot.hist(bins=20, ax=axes[1, 1], title='Распределение маржинальности')

plt.tight_layout()
plt.show()

Pandas также отлично интегрируется с другими библиотеками визуализации, такими как seaborn и plotly:

import seaborn as sns
import plotly.express as px

# Визуализация с помощью seaborn
plt.figure(figsize=(12, 8))
sns.heatmap(df.corr(), annot=True, cmap='coolwarm')
plt.title('Корреляционная матрица')
plt.show()

# Интерактивные графики с plotly
fig = px.scatter(df, x='marketing_spend', y='sales', color='region',
size='customer_count', hover_name='campaign',
title='Зависимость продаж от маркетинговых затрат')
fig.show()

Для создания быстрого дашборда с несколькими графиками можно использовать pandas-profiling:

from pandas_profiling import ProfileReport

# Создание интерактивного отчета о данных
profile = ProfileReport(df, title='Анализ продаж', explorative=True)
profile.to_file('sales_report.html')

Для визуализации временных рядов существуют специальные техники:

• Декомпозиция временного ряда — разделение на тренд, сезонность и остаток
• Сезонные графики — визуализация данных по сезонам или периодам
• Графики автокорреляции — для выявления периодичности в данных
• Тепловые карты — для визуализации значений по периодам (например, дням недели и часам)

Не забывайте о важности правильного форматирования графиков:

• Добавляйте понятные названия графиков и осей
• Используйте правильное форматирование чисел (тысячные разделители, проценты)
• Выбирайте подходящие цвета и прозрачность элементов
• При необходимости добавляйте сетку и аннотации
• Указывайте источник данных и период

Освоение pandas — это инвестиция, которая окупается многократно. Эта библиотека не просто инструмент для анализа данных, а полноценный фреймворк, открывающий доступ к миру data science. Мы рассмотрели путь от базовых операций до сложной аналитики и визуализации. Помните, что настоящее мастерство приходит с практикой — начните применять полученные знания на реальных проектах. Будьте готовы к тому, что каждый датасет уникален и требует индивидуального подхода. Именно эта исследовательская работа и делает аналитику данных настолько захватывающей и востребованной областью.