Python: основные библиотеки анализа данных и их применение

pip install numpy pandas matplotlib

conda install numpy pandas matplotlib

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

print(np.__version__)
print(pd.__version__)
print(matplotlib.__version__)

# Создание виртуального окружения
python -m venv myenv

# Активация (Windows)
myenv\Scripts\activate

# Активация (macOS/Linux)
source myenv/bin/activate

# Установка библиотек
pip install numpy pandas matplotlib

numpy==1.24.3
pandas==2.0.1
matplotlib==3.7.1

pip install -r requirements.txt

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Создаем данные с помощью NumPy
x = np.linspace(0, 10, 100)
y = np.sin(x)

# Преобразуем в DataFrame с помощью Pandas
df = pd.DataFrame({'x': x, 'y': y})

# Визуализируем с помощью Matplotlib
plt.figure(figsize=(10, 6))
plt.plot(df['x'], df['y'])
plt.title('Синусоида')
plt.xlabel('X')
plt.ylabel('sin(X)')
plt.grid(True)
plt.show()

import numpy as np

# Создание массива из Python-списка
arr1 = np.array([1, 2, 3, 4, 5])

# Создание массива с нулями
zeros = np.zeros((3, 4)) # матрица 3x4 из нулей

# Создание массива с единицами
ones = np.ones((2, 2)) # матрица 2x2 из единиц

# Создание массива с диапазоном чисел
range_arr = np.arange(0, 10, 2) # [0, 2, 4, 6, 8]

# Создание линейно распределенных значений
linspace = np.linspace(0, 1, 5) # 5 точек от 0 до 1

# Случайные числа
random_arr = np.random.random((2, 3)) # матрица 2x3 со случайными числами

# Создадим двумерный массив
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# Доступ к элементу
element = arr[1, 2] # 6

# Срезы строк и столбцов
row = arr[1, :] # [4, 5, 6]
column = arr[:, 1] # [2, 5, 8]

# Сложные срезы
subset = arr[0:2, 1:3] # [[2, 3], [5, 6]]

# Логическая индексация
mask = arr > 5
filtered = arr[mask] # [6, 7, 8, 9]

# Арифметические операции
a = np.array([1, 2, 3])
b = np.array([4, 5, 6])

sum_result = a + b # [5, 7, 9]
diff_result = a – b # [-3, -3, -3]
prod_result = a * b # [4, 10, 18]
div_result = a / b # [0\.25, 0.4, 0.5]
exp_result = a ** 2 # [1, 4, 9]

# Статистические функции
mean_value = np.mean(a) # 2.0
max_value = np.max(a) # 3
sum_value = np.sum(a) # 6
std_value = np.std(a) # 0.816...

# Тригонометрические и другие математические функции
angles = np.array([0, np.pi/2, np.pi])
sin_values = np.sin(angles) # [0\., 1., 0.]
log_values = np.log(a) # [0\., 0.693..., 1.098...]

# Изменение формы
arr = np.arange(12)
reshaped = arr.reshape(3, 4) # преобразование в матрицу 3x4

# Транспонирование
transposed = reshaped.T # транспонирование матрицы

# Объединение массивов
a = np.array([[1, 2], [3, 4]])
b = np.array([[5, 6], [7, 8]])

vertical = np.vstack((a, b)) # вертикальное объединение
horizontal = np.hstack((a, b)) # горизонтальное объединение

# Умножение матриц
a = np.array([[1, 2], [3, 4]])
b = np.array([[5, 6], [7, 8]])
matrix_product = np.dot(a, b) # или a @ b в Python 3.5+

# Вычисление собственных значений и векторов
eigenvalues, eigenvectors = np.linalg.eig(a)

# Решение системы линейных уравнений
x = np.linalg.solve(a, np.array([1, 2]))

import pandas as pd
import numpy as np

# Создание Series
s = pd.Series([1, 3, 5, np.nan, 6, 8])

# Создание DataFrame из словаря
data = {
'Имя': ['Анна', 'Борис', 'Виктор', 'Галина'],
'Возраст': [25, 30, 35, 40],
'Город': ['Москва', 'Санкт-Петербург', 'Казань', 'Новосибирск']
}
df = pd.DataFrame(data)

# Создание DataFrame из CSV-файла
# df = pd.read_csv('data.csv')

# Просмотр первых/последних строк
df.head() # первые 5 строк
df.tail(3) # последние 3 строки

# Основная информация о DataFrame
df.info()
df.describe() # статистическое описание числовых столбцов

# Проверка наличия пропущенных значений
df.isnull().sum()

# Быстрая визуализация данных
df['Возраст'].hist() # гистограмма возрастов
df.plot(kind='bar', x='Имя', y='Возраст') # столбчатая диаграмма

# Выбор столбца
ages = df['Возраст']

# Выбор нескольких столбцов
subset = df[['Имя', 'Город']]

# Выбор по условию
young_people = df[df['Возраст'] < 35]

# Выбор по местоположению с iloc
first_row = df.iloc[0]
specific_cells = df.iloc[0:2, 1:3]

# Выбор по метке с loc
by_name = df.loc[df['Имя'] == 'Анна']

# Создадим DataFrame с пропусками
df_missing = pd.DataFrame({
'A': [1, 2, np.nan, 4],
'B': [5, np.nan, np.nan, 8],
'C': [9, 10, 11, 12]
})

# Проверка наличия пропусков
missing_values = df_missing.isnull().sum()

# Удаление строк с пропусками
df_dropped = df_missing.dropna()

# Заполнение пропусков
df_filled = df_missing.fillna(0) # заполнение нулями
df_mean_filled = df_missing.fillna(df_missing.mean()) # заполнение средним значением

# Создадим DataFrame с данными о продажах
sales = pd.DataFrame({
'Дата': pd.date_range(start='2023-01-01', periods=10),
'Товар': ['A', 'B', 'A', 'C', 'B', 'A', 'C', 'B', 'A', 'C'],
'Количество': [10, 15, 8, 12, 20, 5, 15, 10, 7, 18],
'Цена': [100, 200, 100, 300, 200, 100, 300, 200, 100, 300]
})

# Добавим столбец с выручкой
sales['Выручка'] = sales['Количество'] * sales['Цена']

# Группировка по товару и подсчет статистики
grouped = sales.groupby('Товар').agg({
'Количество': 'sum',
'Выручка': ['sum', 'mean']
})

# Сводная таблица
pivot = sales.pivot_table(
values='Выручка', 
index='Товар',
columns=sales['Дата'].dt.day,
aggfunc='sum'
)

# Создадим два DataFrame для демонстрации
employees = pd.DataFrame({
'ID': [1, 2, 3, 4],
'Имя': ['Алексей', 'Мария', 'Иван', 'Елена'],
'Отдел ID': [10, 20, 10, 30]
})

departments = pd.DataFrame({
'Отдел ID': [10, 20, 30],
'Название': ['Разработка', 'Маркетинг', 'HR']
})

# Внутреннее соединение (inner join)
merged = pd.merge(employees, departments, on='Отдел ID')

# Левое соединение (left join)
left_merged = pd.merge(employees, departments, on='Отдел ID', how='left')

# Конкатенация DataFrame по строкам
df1 = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
df2 = pd.DataFrame({'A': [5, 6], 'B': [7, 8]})
concatenated = pd.concat([df1, df2], axis=0)

# Конкатенация по столбцам
concatenated_cols = pd.concat([df1, df2], axis=1)

# Создание временного ряда
dates = pd.date_range('20230101', periods=6)
ts = pd.Series(np.random.randn(6), index=dates)

# Ресемплирование (изменение частоты) временного ряда
monthly = ts.resample('M').mean() # среднее по месяцам

# Скользящее окно
rolling_mean = ts.rolling(window=3).mean()

# Сдвиг данных
shifted = ts.shift(1) # сдвиг на 1 период вперед

# Экспорт в CSV
df.to_csv('output.csv', index=False)

# Экспорт в Excel
df.to_excel('output.xlsx', sheet_name='Sheet1')

# Экспорт в JSON
df.to_json('output.json', orient='records')

import matplotlib.pyplot as plt
import numpy as np

# Процедурный интерфейс
x = np.linspace(0, 10, 100)
y = np.sin(x)

plt.figure(figsize=(10, 6)) # Размер в дюймах
plt.plot(x, y)
plt.title('Синусоида')
plt.xlabel('x')
plt.ylabel('sin(x)')
plt.grid(True)
plt.show()

# Объектно-ориентированный интерфейс
fig, ax = plt.subplots(figsize=(10, 6))
ax.plot(x, y)
ax.set_title('Синусоида')
ax.set_xlabel('x')
ax.set_ylabel('sin(x)')
ax.grid(True)
plt.show()

# Линейный график
plt.figure(figsize=(12, 8))

x = np.linspace(0, 10, 100)
plt.plot(x, np.sin(x), label='sin(x)')
plt.plot(x, np.cos(x), label='cos(x)')
plt.legend()
plt.title('Тригонометрические функции')
plt.show()

# Гистограмма
data = np.random.randn(1000)
plt.figure(figsize=(10, 6))
plt.hist(data, bins=30, alpha=0.7, color='blue')
plt.title('Гистограмма нормального распределения')
plt.show()

# Диаграмма рассеивания (scatter plot)
x = np.random.rand(50)
y = x + np.random.rand(50) * 0.5
plt.figure(figsize=(10, 6))
plt.scatter(x, y, c=x, cmap='viridis', s=100, alpha=0.7)
plt.colorbar(label='Значение X')
plt.title('Диаграмма рассеивания')
plt.show()

# Столбчатая диаграмма
categories = ['A', 'B', 'C', 'D', 'E']
values = np.random.randint(1, 10, size=len(categories))
plt.figure(figsize=(10, 6))
plt.bar(categories, values, color='teal')
plt.title('Столбчатая диаграмма')
plt.show()

# Доступные стили
print(plt.style.available)

# Применение стиля
plt.style.use('seaborn-darkgrid')

# Настройка цветов и стиля линий
plt.figure(figsize=(12, 8))
plt.plot(x, np.sin(x), 'r--', linewidth=2, label='sin(x)')
plt.plot(x, np.cos(x), 'b-', linewidth=2, label='cos(x)')
plt.legend(fontsize=12)
plt.title('Тригонометрические функции', fontsize=16)
plt.xlabel('x', fontsize=14)
plt.ylabel('y', fontsize=14)
plt.grid(True, linestyle='--', alpha=0.7)
plt.tight_layout()
plt.show()

# Настройка пределов осей и меток
plt.figure(figsize=(10, 6))
plt.plot(x, np.sin(x))
plt.xlim(0, 10)
plt.ylim(-1.5, 1.5)
plt.xticks([0, np.pi, 2*np.pi, 3*np.pi], ['0', '$\pi$', '$2\pi$', '$3\pi$'])
plt.show()

# Создание сетки подграфиков
fig, axes = plt.subplots(2, 2, figsize=(12, 10))

# Верхний левый график
axes[0, 0].plot(x, np.sin(x))
axes[0, 0].set_title('sin(x)')

# Верхний правый график
axes[0, 1].plot(x, np.cos(x), 'r')
axes[0, 1].set_title('cos(x)')

# Нижний левый график
axes[1, 0].plot(x, np.sin(2*x), 'g')
axes[1, 0].set_title('sin(2x)')

# Нижний правый график
axes[1, 1].plot(x, np.cos(2*x), 'b')
axes[1, 1].set_title('cos(2x)')

# Настройка общего заголовка и расположения
plt.suptitle('Тригонометрические функции', fontsize=16)
plt.tight_layout(rect=[0, 0, 1, 0.96]) # Оставляем место для общего заголовка
plt.show()

plt.figure(figsize=(10, 6))
plt.plot(x, np.sin(x))

# Добавление текста
plt.text(5, 0.5, 'Максимум', fontsize=12)

# Добавление аннотации со стрелкой
plt.annotate('Локальный минимум', 
xy=(3*np.pi/2, -1), 
xytext=(4, -0.5),
arrowprops=dict(facecolor='black', shrink=0.05))

# Добавление горизонтальной и вертикальной линий
plt.axhline(y=0, color='k', linestyle='-', alpha=0.3)
plt.axvline(x=np.pi, color='r', linestyle='--', alpha=0.3)

plt.title('Аннотированный график синусоиды')
plt.show()

import pandas as pd

# Создаем DataFrame с данными о продажах
months = ['Янв', 'Фев', 'Мар', 'Апр', 'Май', 'Июн']
sales_data = {
'Продукт A': [10, 15, 12, 18, 20, 22],
'Продукт B': [5, 8, 10, 12, 15, 18],
'Продукт C': [8, 9, 7, 10, 12, 14]
}

df = pd.DataFrame(sales_data, index=months)

# Построение линейного графика напрямую из DataFrame
df.plot(figsize=(10, 6), marker='o')
plt.title('Ежемесячные продажи по продуктам')
plt.ylabel('Количество продаж')
plt.grid(True, linestyle='--', alpha=0.7)
plt.show()

# Построение столбчатой диаграммы
df.plot(kind='bar', figsize=(12, 6), width=0.8)
plt.title('Ежемесячные продажи по продуктам')
plt.ylabel('Количество продаж')
plt.show()

# Построение круговой диаграммы для последнего месяца
df.iloc[-1].plot(kind='pie', figsize=(10, 10), autopct='%1.1f%%')
plt.title('Доля продаж по продуктам в июне')
plt.ylabel('') # Удаляем метку оси Y, которая по умолчанию добавляется
plt.show()

# Создаем график
plt.figure(figsize=(10, 6))
plt.plot(x, np.sin(x))
plt.title('Синусоида')

# Сохраняем в различных форматах
plt.savefig('sine_wave.png', dpi=300) # PNG с высоким разрешением
plt.savefig('sine_wave.pdf') # PDF для печати
plt.savefig('sine_wave.svg') # SVG для веб
plt.show()