Как использовать библиотеку Pandas в Python: руководство для новичков

pip install pandas

conda install pandas

import pandas as pd
print(pd.__version__)

pip install pandas numpy matplotlib seaborn openpyxl sqlalchemy

pip install jupyter
jupyter notebook

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# Настройка отображения данных
pd.set_option('display.max_columns', None) # Показывать все столбцы
pd.set_option('display.max_rows', 100) # Ограничить количество строк
pd.set_option('display.width', 1000) # Ширина вывода
pd.set_option('display.precision', 2) # Округление чисел

# Настройка визуализации
sns.set(style="whitegrid") # Стиль графиков
plt.rcParams['figure.figsize'] = (12, 8) # Размер графиков по умолчанию

# Создание Series
import pandas as pd
import numpy as np

# Из списка
s = pd.Series([10, 20, 30, 40])
print(s)

# С заданными индексами
s = pd.Series([10, 20, 30, 40], index=['a', 'b', 'c', 'd'])
print(s)

# Из словаря
s = pd.Series({'a': 10, 'b': 20, 'c': 30, 'd': 40})
print(s)

# Доступ к элементам
print(s['a']) # По индексу
print(s[0]) # По позиции
print(s[['a', 'c']]) # Несколько элементов

# Создание DataFrame
# Из словаря
data = {
'Имя': ['Анна', 'Борис', 'Вера', 'Глеб'],
'Возраст': [25, 30, 22, 35],
'Город': ['Москва', 'Санкт-Петербург', 'Казань', 'Москва']
}
df = pd.DataFrame(data)
print(df)

# Из списка словарей
data = [
{'Имя': 'Анна', 'Возраст': 25, 'Город': 'Москва'},
{'Имя': 'Борис', 'Возраст': 30, 'Город': 'Санкт-Петербург'},
{'Имя': 'Вера', 'Возраст': 22, 'Город': 'Казань'},
{'Имя': 'Глеб', 'Возраст': 35, 'Город': 'Москва'}
]
df = pd.DataFrame(data)
print(df)

# Из массива NumPy
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
df = pd.DataFrame(arr, columns=['A', 'B', 'C'])
print(df)

# Выбор столбцов
print(df['Имя']) # Один столбец (вернет Series)
print(df[['Имя', 'Возраст']]) # Несколько столбцов (вернет DataFrame)

# Выбор строк по позиции
print(df.iloc[0]) # Первая строка (вернет Series)
print(df.iloc[0:2]) # Первые две строки (вернет DataFrame)
print(df.iloc[0:2, 0:2]) # Подмножество строк и столбцов

# Выбор строк по индексу
df = df.set_index('Имя') # Установка столбца 'Имя' в качестве индекса
print(df.loc['Анна']) # Строка с индексом 'Анна'
print(df.loc[['Анна', 'Вера']]) # Несколько строк по индексам

# Условная выборка
print(df[df['Возраст'] > 25]) # Строки, где возраст больше 25
print(df[(df['Возраст'] > 25) & (df['Город'] == 'Москва')]) # Комбинирование условий

# Добавление столбца
df['Статус'] = ['Активен', 'Неактивен', 'Активен', 'Неактивен']
print(df)

# Добавление строки
df.loc['Дмитрий'] = [28, 'Новосибирск', 'Активен']
print(df)

# Удаление столбца
df = df.drop('Статус', axis=1) # axis=1 для столбцов
print(df)

# Удаление строк
df = df.drop(['Анна', 'Вера'], axis=0) # axis=0 для строк
print(df)

# Переименование столбцов
df = df.rename(columns={'Возраст': 'Age', 'Город': 'City'})
print(df)

# Сброс индекса
df = df.reset_index() # Преобразует индекс в столбец
print(df)

# Загрузка из CSV
df = pd.read_csv('data.csv')

# Загрузка из Excel
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')

# Загрузка из JSON
df = pd.read_json('data.json')

# Загрузка из SQL
from sqlalchemy import create_engine
engine = create_engine('sqlite:///database.db')
df = pd.read_sql('SELECT * FROM table', engine)

# Загрузка из веб (HTML-таблица)
df = pd.read_html('https://example.com/table.html')[0]

# Загрузка из файла с разделителями
df = pd.read_csv('data.txt', sep='\t') # Табуляция как разделитель

# Расширенные параметры загрузки CSV
df = pd.read_csv('data.csv', 
sep=',', # Разделитель 
header=0, # Номер строки с заголовками
index_col='ID', # Столбец для использования как индекс
usecols=['ID', 'Name', 'Value'], # Только указанные столбцы
dtype={'Value': float}, # Задание типа данных
parse_dates=['Date'], # Преобразование строк в даты
nrows=1000, # Только первые 1000 строк
skiprows=[1, 3], # Пропустить строки 1 и 3
na_values=['NA', 'N/A', '?'] # Значения для обработки как NaN
)

# Базовый анализ данных
print(df.head()) # Первые 5 строк
print(df.tail()) # Последние 5 строк
print(df.info()) # Информация о DataFrame (типы, память)
print(df.describe()) # Статистика по числовым столбцам
print(df.shape) # Размерность (строки, столбцы)
print(df.columns) # Имена столбцов
print(df.dtypes) # Типы данных по столбцам
print(df.isna().sum()) # Количество пропущенных значений

# Удаление строк с пропущенными значениями
df_clean = df.dropna() # По умолчанию удаляет строку, если есть хотя бы один NaN
df_clean = df.dropna(subset=['важный_столбец']) # Удаление только если NaN в указанном столбце

# Заполнение пропущенных значений
df['столбец'].fillna(0, inplace=True) # Заполнение нулями
df['столбец'].fillna(df['столбец'].mean(), inplace=True) # Заполнение средним
df['столбец'].fillna(method='ffill', inplace=True) # Заполнение предыдущим значением
df['столбец'].fillna(method='bfill', inplace=True) # Заполнение следующим значением

# Интерполяция
df['столбец'].interpolate(method='linear', inplace=True) # Линейная интерполяция

# Поиск дубликатов
duplicates = df.duplicated() # Серия булевых значений
print(df[duplicates]) # Показать только дубликаты

# Удаление дубликатов
df.drop_duplicates(inplace=True) # Удаление полных дубликатов
df.drop_duplicates(subset=['столбец1', 'столбец2'], inplace=True) # По конкретным столбцам
df.drop_duplicates(keep='last', inplace=True) # Оставить последний дубликат

# Преобразование типов
df['число'] = df['число'].astype('int64') # В целое число
df['флаг'] = df['флаг'].astype('bool') # В булево значение
df['дата'] = pd.to_datetime(df['дата']) # В дату/время
df['категория'] = df['категория'].astype('category') # В категориальные данные

# Метод Z-score
from scipy import stats
z_scores = stats.zscore(df['числовой_столбец'])
df_no_outliers = df[abs(z_scores) < 3] # Удаление выбросов (|z| > 3)

# Метод IQR (межквартильный размах)
Q1 = df['числовой_столбец'].quantile(0.25)
Q3 = df['числовой_столбец'].quantile(0.75)
IQR = Q3 – Q1
df_no_outliers = df[~((df['числовой_столбец'] < (Q1 – 1.5 * IQR)) | 
(df['числовой_столбец'] > (Q3 + 1.5 * IQR))]

# Создание новых столбцов на основе существующих
df['полное_имя'] = df['имя'] + ' ' + df['фамилия']
df['возрастная_группа'] = pd.cut(df['возраст'], bins=[0, 18, 30, 50, 100], 
labels=['Ребенок', 'Молодой', 'Средний', 'Пожилой'])

# Извлечение компонентов даты
df['год'] = df['дата'].dt.year
df['месяц'] = df['дата'].dt.month
df['день_недели'] = df['дата'].dt.day_name()

# One-hot кодирование категориальных переменных
df_encoded = pd.get_dummies(df, columns=['категория'], drop_first=True)

# Нормализация числовых данных
df['normalized'] = (df['число'] – df['число'].min()) / (df['число'].max() – df['число'].min())

# Сохранение в различные форматы
df.to_csv('processed_data.csv', index=False)
df.to_excel('processed_data.xlsx', sheet_name='Sheet1')
df.to_json('processed_data.json', orient='records')
df.to_sql('table_name', engine, if_exists='replace')
df.to_pickle('processed_data.pkl') # Быстрое сохранение для Python

# Создадим DataFrame с данными о выручке по месяцам
data = {
'Месяц': ['Янв', 'Фев', 'Мар', 'Апр', 'Май', 'Июн'],
'Выручка': [120, 150, 140, 180, 210, 230],
'Затраты': [90, 100, 95, 120, 130, 140],
'Клиенты': [50, 55, 60, 65, 70, 75]
}
df = pd.DataFrame(data)

# Линейный график
df.plot(x='Месяц', y=['Выручка', 'Затраты'], figsize=(10, 6), title='Динамика показателей')

# Столбчатая диаграмма
df.plot.bar(x='Месяц', y=['Выручка', 'Затраты'], figsize=(10, 6))

# Горизонтальная столбчатая диаграмма
df.plot.barh(x='Месяц', y='Выручка')

# Круговая диаграмма
df.plot.pie(y='Выручка', figsize=(10, 10), labels=df['Месяц'], autopct='%1.1f%%')

# Диаграмма рассеяния (scatter plot)
df.plot.scatter(x='Клиенты', y='Выручка', s=df['Затраты'], alpha=0.5) 

# Гистограмма
df['Выручка'].plot.hist(bins=10)

# Ящик с усами (boxplot)
df.plot.box()

# Диаграмма плотности (density plot)
df[['Выручка', 'Затраты']].plot.density()

import seaborn as sns
import matplotlib.pyplot as plt

# Тепловая карта корреляций
correlation = df.corr()
plt.figure(figsize=(10, 8))
sns.heatmap(correlation, annot=True, cmap='coolwarm', linewidths=0.5)
plt.title('Матрица корреляции')

# Парные графики
sns.pairplot(df.select_dtypes(include=['number']))

# Диаграмма совместного распределения
sns.jointplot(x='Клиенты', y='Выручка', data=df, kind='hex')

# Кластерная гистограмма
plt.figure(figsize=(12, 8))
sns.histplot(data=df, x='Выручка', hue='Месяц', bins=20, kde=True)

# Категориальный график
plt.figure(figsize=(12, 8))
sns.catplot(x='Месяц', y='Выручка', data=df, kind='violin')

# Базовая статистика
print(df.describe()) # Основные статистические показатели
print(df['Выручка'].mean()) # Среднее значение
print(df['Выручка'].median()) # Медиана
print(df['Выручка'].mode()) # Мода
print(df['Выручка'].std()) # Стандартное отклонение
print(df['Выручка'].var()) # Дисперсия
print(df['Выручка'].skew()) # Асимметрия
print(df['Выручка'].kurt()) # Эксцесс

# Корреляционный анализ
print(df.corr(method='pearson')) # Коэффициент корреляции Пирсона
print(df.corr(method='spearman')) # Коэффициент ранговой корреляции Спирмена

# Анализ категориальных данных
print(df['Месяц'].value_counts()) # Частота каждого значения
print(df['Месяц'].value_counts(normalize=True)) # В процентах

# Кросс-табуляция (аналог сводной таблицы)
pd.crosstab(df['Месяц'], df['Выручка'] > df['Выручка'].mean(), 
rownames=['Месяц'], colnames=['Выручка выше среднего'])

# Простая группировка и агрегация
df.groupby('Месяц')['Выручка'].sum() # Сумма выручки по месяцам
df.groupby('Месяц')['Выручка', 'Затраты'].mean() # Среднее по нескольким столбцам

# Множественные агрегации
df.groupby('Месяц').agg({
'Выручка': ['sum', 'mean', 'std'], # Различные агрегации для разных столбцов
'Затраты': ['sum', 'min', 'max'],
'Клиенты': 'count'
})

# Трансформация групп
df['центрированная_выручка'] = df.groupby('Месяц')['Выручка'].transform(
lambda x: x – x.mean() # Центрирование выручки в каждой группе
)

# Оконные функции (скользящие и расширяющиеся агрегации)
df['скользящее_среднее'] = df['Выручка'].rolling(window=3).mean()
df['кумулятивная_сумма'] = df['Выручка'].expanding().sum()
df['ранг'] = df['Выручка'].rank(method='dense') # Ранжирование

# Создание временного ряда
dates = pd.date_range(start='2025-01-01', periods=100, freq='D')
ts = pd.Series(np.random.randn(100).cumsum(), index=dates)

# Изменение частоты временного ряда
ts_monthly = ts.resample('M').mean() # Ресемплинг на месячные данные
ts_weekly = ts.resample('W').sum() # Ресемплинг на недельные данные

# Скользящее среднее и другие агрегации по времени
ts.rolling('30D').mean() # Скользящее среднее за 30 дней

# Сдвиг данных
ts_shifted = ts.shift(periods=7) # Сдвиг на 7 дней вперед
ts_lagged = ts.shift(periods=-7) # Сдвиг на 7 дней назад (лаг)

# Вычисление изменений
ts_diff = ts.diff() # Разница между текущим и предыдущим значением
ts_pct_change = ts.pct_change() * 100 # Процентное изменение

# Сезонная декомпозиция
from statsmodels.tsa.seasonal import seasonal_decompose
decomposition = seasonal_decompose(ts, model='additive', period=30) 
trend = decomposition.trend
seasonal = decomposition.seasonal
residual = decomposition.resid

# Визуализация компонентов временного ряда
fig, (ax1, ax2, ax3, ax4) = plt.subplots(4, 1, figsize=(12, 16))
ts.plot(ax=ax1)
ax1.set_title('Оригинальный временной ряд')
trend.plot(ax=ax2)
ax2.set_title('Тренд')
seasonal.plot(ax=ax3)
ax3.set_title('Сезонность')
residual.plot(ax=ax4)
ax4.set_title('Остатки')

# Сводная таблица (Pivot Table)
pivot = df.pivot_table(
values=['Выручка', 'Затраты'],
index='Месяц',
aggfunc={'Выручка': ['sum', 'mean'], 'Затраты': ['sum', 'mean']}
)
print(pivot)

# Таблица с перекрестной группировкой
cross_tab = pd.crosstab(
[df['Месяц']], 
[df['Выручка'] > df['Выручка'].mean()],
values=df['Клиенты'],
aggfunc=['mean', 'sum']
)
print(cross_tab)

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# Подготовка данных
X = df[['Клиенты', 'Затраты']]
y = df['Выручка']

# Разделение на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Обучение модели
model = LinearRegression()
model.fit(X_train, y_train)

# Предсказания
predictions = model.predict(X_test)

# Добавление предсказаний в DataFrame
test_results = pd.DataFrame({
'Фактическая_выручка': y_test,
'Прогнозируемая_выручка': predictions,
'Разница': y_test – predictions
})
print(test_results)