import pandas as pd
print(pd.__version__)

import pandas as pd

# Создаём словарь с данными
data = {
'Имя': ['Анна', 'Иван', 'Мария', 'Павел'],
'Возраст': [25, 30, 22, 35],
'Город': ['Москва', 'Санкт-Петербург', 'Казань', 'Новосибирск'],
'Зарплата': [70000, 85000, 65000, 90000]
}

# Создаём DataFrame из словаря
df = pd.DataFrame(data)

# Выводим DataFrame
print(df)

# Предположим, у нас есть файл "sales.csv" с данными о продажах
sales_df = pd.read_csv('sales.csv')

# Просмотр первых 5 строк
print(sales_df.head())

# Получение базовой информации о данных
print(sales_df.info())

# Основные статистические показатели числовых столбцов
print(sales_df.describe())

# Чтение данных из URL
url = 'https://raw.githubusercontent.com/datasets/covid-19/master/data/countries-aggregated.csv'
covid_df = pd.read_csv(url)

# Просмотр последних 5 строк
print(covid_df.tail())

# Проверка размера данных (строки, столбцы)
print(f"Размер DataFrame: {covid_df.shape}")

import pandas as pd
import numpy as np

# Создание Series из списка
s1 = pd.Series([10, 20, 30, 40])
print(s1)

# Создание Series с пользовательским индексом
s2 = pd.Series([10, 20, 30, 40], index=['a', 'b', 'c', 'd'])
print(s2)

# Создание Series из словаря
s3 = pd.Series({'a': 10, 'b': 20, 'c': 30, 'd': 40})
print(s3)

# Векторизованные операции
print(s3 * 2)
print(np.sqrt(s3))

# Создание DataFrame из словаря
data = {
'Имя': ['Алексей', 'Екатерина', 'Дмитрий', 'Ольга'],
'Возраст': [28, 24, 32, 30],
'Рейтинг': [4\.7, 4.9, 4.2, 4.8]
}
df1 = pd.DataFrame(data)
print(df1)

# Создание DataFrame из списка словарей
people = [
{'Имя': 'Алексей', 'Возраст': 28, 'Город': 'Москва'},
{'Имя': 'Екатерина', 'Возраст': 24, 'Город': 'Казань'},
{'Имя': 'Дмитрий', 'Возраст': 32, 'Город': 'Новосибирск'}
]
df2 = pd.DataFrame(people)
print(df2)

# Создание DataFrame из внешнего источника
df3 = pd.read_csv('data.csv')

# Создадим тестовый DataFrame
df = pd.DataFrame({
'A': [1, 2, 3, 4, 5],
'B': [10, 20, 30, 40, 50],
'C': ['a', 'b', 'c', 'd', 'e'],
'D': [1\.1, 1.2, 1.3, 1.4, 1.5]
})

# Выбор столбца (возвращает Series)
print(df['A'])
print(df.A) # альтернативный синтаксис для строковых имен столбцов

# Выбор нескольких столбцов (возвращает DataFrame)
print(df[['A', 'C']])

# Выбор строк по индексу с помощью loc (на основе меток)
print(df.loc[1:3])

# Выбор строк по позиции с помощью iloc (на основе целочисленных позиций)
print(df.iloc[1:3])

# Выбор строк и столбцов одновременно
print(df.loc[1:3, ['A', 'C']])
print(df.iloc[1:3, [0, 2]])

# Выбор данных по условию
print(df[df.A > 2])
print(df[(df.A > 2) & (df.B < 50)])

# Создадим DataFrame с пропусками
df_na = pd.DataFrame({
'A': [1, 2, np.nan, 4, 5],
'B': [10, np.nan, 30, 40, 50],
'C': ['a', 'b', 'c', np.nan, 'e']
})

# Проверка на наличие пропусков
print(df_na.isna()) # или df_na.isnull()
print(df_na.isna().sum()) # количество пропусков по столбцам

# Удаление строк с пропусками
print(df_na.dropna())

# Удаление столбцов с пропусками
print(df_na.dropna(axis=1))

# Заполнение пропусков
print(df_na.fillna(0)) # заполнение константой
print(df_na.fillna({'A': 0, 'B': -1, 'C': 'unknown'})) # разные значения для разных столбцов
print(df_na.fillna(method='ffill')) # заполнение предыдущим значением
print(df_na.fillna(method='bfill')) # заполнение следующим значением

import pandas as pd
import numpy as np

# Создадим тестовый DataFrame
df = pd.DataFrame({
'Товар': ['Ноутбук', 'Смартфон', 'Наушники', 'Планшет', 'Клавиатура'],
'Категория': ['Компьютеры', 'Мобильные', 'Аксессуары', 'Мобильные', 'Аксессуары'],
'Цена': [65000, 45000, 8000, 35000, 3500],
'Рейтинг': [4\.7, 4.9, 4.5, 4.2, 4.8],
'В_наличии': [True, False, True, True, True]
})

# Простая фильтрация по одному условию
дорогие_товары = df[df['Цена'] > 30000]
print("Дорогие товары:\n", дорогие_товары)

# Фильтрация по нескольким условиям
доступные_аксессуары = df[(df['Категория'] == 'Аксессуары') & (df['В_наличии'] == True)]
print("\nДоступные аксессуары:\n", доступные_аксессуары)

# Фильтрация с использованием метода query (более читаемый синтаксис)
популярные_товары = df.query('Рейтинг > 4.5 and В_наличии == True')
print("\nПопулярные доступные товары:\n", популярные_товары)

# Фильтрация с использованием метода isin
мобильные_категории = df[df['Категория'].isin(['Мобильные', 'Аксессуары'])]
print("\nМобильные категории товаров:\n", мобильные_категории)

# Сортировка по одному столбцу
по_цене = df.sort_values('Цена')
print("Сортировка по возрастанию цены:\n", по_цене)

# Сортировка по нескольким столбцам
по_категории_и_цене = df.sort_values(['Категория', 'Цена'], ascending=[True, False])
print("\nСортировка по категории и убыванию цены:\n", по_категории_и_цене)

# Сортировка по индексу
по_индексу = df.sort_index()
print("\nСортировка по индексу:\n", по_индексу)

# Группировка с одной агрегирующей функцией
средняя_цена_по_категориям = df.groupby('Категория')['Цена'].mean()
print("Средняя цена по категориям:\n", средняя_цена_по_категориям)

# Несколько агрегаций одновременно
статистика_по_категориям = df.groupby('Категория').agg({
'Цена': ['mean', 'min', 'max'],
'Рейтинг': ['mean', 'count']
})
print("\nРазличная статистика по категориям:\n", статистика_по_категориям)

# Пользовательская функция агрегации
def ценовой_диапазон(серия):
return f"{серия.min()} – {серия.max()}"

диапазоны_цен = df.groupby('Категория')['Цена'].agg(ценовой_диапазон)
print("\nЦеновые диапазоны по категориям:\n", диапазоны_цен)

# Добавление нового столбца
df['Скидка'] = df['Цена'] * 0.1
df['Цена_со_скидкой'] = df['Цена'] – df['Скидка']
print("DataFrame с новыми столбцами:\n", df)

# Применение функции к столбцу
df['Ценовая_категория'] = df['Цена'].apply(
lambda x: 'Премиум' if x > 50000 else ('Средний' if x > 10000 else 'Бюджетный')
)
print("\nДобавление категории цены:\n", df)

# Преобразование всего DataFrame
нормализованные_цены = df[['Цена', 'Цена_со_скидкой']].apply(
lambda x: (x – x.min()) / (x.max() – x.min())
)
print("\nНормализованные цены:\n", нормализованные_цены)

# Создадим DataFrame с пропусками и дубликатами
df_грязный = pd.DataFrame({
'ID': [1, 2, 2, 3, 4, 5],
'Имя': ['Анна', 'Иван', 'Иван', 'Мария', None, 'Сергей'],
'Баллы': [85, 92, 92, None, 78, 88]
})

# Обнаружение дубликатов
print("Дублирующиеся строки:\n", df_грязный.duplicated())

# Удаление дубликатов
df_уникальный = df_грязный.drop_duplicates()
print("\nDataFrame без дубликатов:\n", df_уникальный)

# Заполнение пропусков
df_заполненный = df_уникальный.fillna({
'Имя': 'Неизвестно',
'Баллы': df_уникальный['Баллы'].mean()
})
print("\nDataFrame с заполненными пропусками:\n", df_заполненный)

# Интерполяция значений (для числовых данных)
df_интерполированный = df_уникальный.copy()
df_интерполированный['Баллы'] = df_интерполированный['Баллы'].interpolate()
print("\nDataFrame с интерполированными значениями:\n", df_интерполированный)

# Создадим два DataFrame для демонстрации
df1 = pd.DataFrame({
'ID': [1, 2, 3, 4],
'Имя': ['Анна', 'Иван', 'Мария', 'Павел'],
'Отдел': ['Маркетинг', 'Разработка', 'Маркетинг', 'Продажи']
})

df2 = pd.DataFrame({
'ID': [2, 3, 4, 5],
'Зарплата': [85000, 95000, 75000, 90000],
'Стаж': [2, 5, 1, 3]
})

# Внутреннее соединение (только совпадающие записи)
inner_join = pd.merge(df1, df2, on='ID', how='inner')
print("Внутреннее соединение:\n", inner_join)

# Левое соединение (все записи из левого DataFrame)
left_join = pd.merge(df1, df2, on='ID', how='left')
print("\nЛевое соединение:\n", left_join)

# Внешнее соединение (все записи из обоих DataFrame)
outer_join = pd.merge(df1, df2, on='ID', how='outer')
print("\nВнешнее соединение:\n", outer_join)

# Конкатенация (объединение строк)
df3 = pd.DataFrame({
'ID': [6, 7],
'Имя': ['Алексей', 'Елена'],
'Отдел': ['Разработка', 'Продажи']
})

вертикальное_объединение = pd.concat([df1, df3], ignore_index=True)
print("\nВертикальное объединение:\n", вертикальное_объединение)

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# Загрузим демонстрационный набор данных
# Для примера создадим данные о продажах в разных регионах
np.random.seed(42) # для воспроизводимости результатов
dates = pd.date_range('20230101', periods=100)
regions = ['Центр', 'Север', 'Юг', 'Запад', 'Восток']
products = ['Продукт A', 'Продукт B', 'Продукт C']

data = []
for _ in range(500):
date = np.random.choice(dates)
region = np.random.choice(regions)
product = np.random.choice(products)
quantity = np.random.randint(1, 50)
price = np.random.uniform(100, 1000)
revenue = quantity * price
data.append([date, region, product, quantity, price, revenue])

sales_df = pd.DataFrame(data, columns=['Дата', 'Регион', 'Продукт', 'Количество', 'Цена', 'Выручка'])

# Базовая статистика
print("Базовая статистика по числовым столбцам:")
print(sales_df.describe())

# Статистика по категориальным данным
print("\nЧастота значений в столбце 'Регион':")
print(sales_df['Регион'].value_counts())

# Группировка и агрегация для анализа
print("\nСредняя выручка по регионам:")
print(sales_df.groupby('Регион')['Выручка'].mean().sort_values(ascending=False))

# Анализ временных трендов
sales_by_date = sales_df.groupby(sales_df['Дата'].dt.month)['Выручка'].sum()
print("\nОбщая выручка по месяцам:")
print(sales_by_date)

# Корреляционный анализ
print("\nКорреляция между числовыми переменными:")
print(sales_df[['Количество', 'Цена', 'Выручка']].corr())

# Гистограмма распределения цен
sales_df['Цена'].hist(bins=20, figsize=(10, 5))
plt.title('Распределение цен')
plt.xlabel('Цена')
plt.ylabel('Частота')
# plt.savefig('price_histogram.png')
# plt.show()

# Линейный график выручки по времени
sales_df.groupby('Дата')['Выручка'].sum().plot(figsize=(12, 6))
plt.title('Динамика выручки')
plt.xlabel('Дата')
plt.ylabel('Выручка')
# plt.show()

# Столбчатая диаграмма по регионам
region_sales = sales_df.groupby('Регион')['Выручка'].sum().sort_values(ascending=False)
region_sales.plot(kind='bar', figsize=(10, 5))
plt.title('Выручка по регионам')
plt.xlabel('Регион')
plt.ylabel('Выручка')
# plt.show()

# Круговая диаграмма распределения продуктов
product_sales = sales_df.groupby('Продукт')['Выручка'].sum()
product_sales.plot(kind='pie', figsize=(8, 8), autopct='%1.1f%%')
plt.title('Распределение выручки по продуктам')
# plt.show()

# Диаграмма рассеяния (scatter plot)
sales_df.plot.scatter(x='Цена', y='Количество', figsize=(10, 6), alpha=0.5)
plt.title('Зависимость между ценой и количеством')
# plt.show()

# Ящик с усами (box plot) для анализа распределения
sales_df.boxplot(column='Выручка', by='Продукт', figsize=(10, 6))
plt.title('Распределение выручки по продуктам')
plt.suptitle('') # Убираем автоматический заголовок
# plt.show()

# Создание сводной таблицы
pivot = pd.pivot_table(
sales_df, 
values='Выручка', 
index=['Регион'], 
columns=['Продукт'], 
aggfunc='sum',
margins=True, # Добавить строку и столбец 'All'
margins_name='Итого'
)
print("Сводная таблица выручки по регионам и продуктам:")
print(pivot)

# Тепловая карта сводной таблицы
plt.figure(figsize=(12, 8))
pivot_heatmap = pivot.iloc[:-1, :-1] # Исключаем итоговые строки/столбцы
sns.heatmap(pivot_heatmap, annot=True, fmt='.0f', cmap='YlGnBu')
plt.title('Тепловая карта выручки по регионам и продуктам')
# plt.show()

# Сложная сводная таблица с несколькими уровнями и агрегациями
complex_pivot = pd.pivot_table(
sales_df,
values=['Выручка', 'Количество'],
index=['Регион'],
columns=['Продукт'],
aggfunc={
'Выручка': ['sum', 'mean'],
'Количество': ['sum', 'mean', 'count']
}
)
print("\nСложная сводная таблица:")
print(complex_pivot)

# Импортируем необходимые библиотеки
import seaborn as sns
from plotly import express as px
import matplotlib.pyplot as plt

# Настраиваем стиль Seaborn
sns.set(style="whitegrid")

# Создаем парные графики с Seaborn
sns.pairplot(sales_df[['Количество', 'Цена', 'Выручка']], height=2)
plt.suptitle('Парные графики числовых переменных', y=1.02)
# plt.show()

# Создаем violin plot для сравнения распределений
plt.figure(figsize=(12, 6))
sns.violinplot(x='Продукт', y='Выручка', data=sales_df)
plt.title('Распределение выручки по продуктам')
# plt.show()

# Создаем интерактивный график с Plotly Express
# fig = px.scatter(sales_df, x='Цена', y='Количество', color='Регион', 
# size='Выручка', hover_name='Продукт',
# title='Интерактивная диаграмма рассеяния')
# fig.show()

# Создаем интерактивную тепловую карту корреляций
# corr = sales_df[['Количество', 'Цена', 'Выручка']].corr()
# fig = px.imshow(corr, text_auto=True, aspect='equal',
# title='Матрица корреляций')
# fig.show()

# Преобразуем данные для анализа временных рядов
sales_df['Месяц'] = sales_df['Дата'].dt.to_period('M')
monthly_sales = sales_df.groupby(['Месяц', 'Продукт'])['Выручка'].sum().unstack()

# Визуализация трендов продаж по продуктам
plt.figure(figsize=(14, 7))
monthly_sales.plot(marker='o')
plt.title('Динамика продаж по продуктам')
plt.xlabel('Месяц')
plt.ylabel('Выручка')
plt.grid(True, linestyle='--', alpha=0.7)
plt.legend(title='Продукт')
# plt.show()

# Анализ сезонности и тренда
# Создаем временной ряд для одного продукта
product_a_sales = monthly_sales['Продукт A']

# Скользящее среднее для выявления тренда
rolling_mean = product_a_sales.rolling(window=3).mean()

plt.figure(figsize=(14, 7))
plt.plot(product_a_sales.index.astype(str), product_a_sales.values, marker='o', label='Исходные данные')
plt.plot(rolling_mean.index.astype(str), rolling_mean.values, 'r', linewidth=2, label='3-месячное скользящее среднее')
plt.title('Анализ временного ряда для Продукта A')
plt.xlabel('Месяц')
plt.ylabel('Выручка')
plt.legend()
plt.grid()
# plt.show()