Ящик с усами в Python Pandas: построение и анализ диаграммы

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# Создаем тестовые данные
np.random.seed(42) # Для воспроизводимости результатов
df = pd.DataFrame({
'Группа A': np.random.normal(0, 1, 100),
'Группа B': np.random.normal(2, 1.5, 100),
'Группа C': np.random.normal(-1, 2, 100)
})

# Построение базовой диаграммы размаха
df.boxplot()
plt.title('Сравнение распределений для трех групп')
plt.ylabel('Значения')
plt.show()

# Выбор конкретных столбцов
df[['Группа A', 'Группа C']].boxplot()
plt.show()

# Горизонтальная ориентация
df.boxplot(vert=False)
plt.show()

# Создадим DataFrame с категориальными данными
sales_df = pd.DataFrame({
'Менеджер': np.random.choice(['Иван', 'Мария', 'Алексей', 'Ольга'], 100),
'Продажи': np.random.normal(50000, 15000, 100)
})

# Построение boxplot с группировкой по категории
sales_df.boxplot(column='Продажи', by='Менеджер')
plt.title('Распределение продаж по менеджерам')
plt.suptitle('') # Убираем дополнительный заголовок
plt.ylabel('Объем продаж, руб.')
plt.show()

fig, axes = plt.subplots(1, 2, figsize=(12, 5))
df[['Группа A', 'Группа B']].boxplot(ax=axes[0])
df[['Группа C']].boxplot(ax=axes[1])
axes[0].set_title('Группы A и B')
axes[1].set_title('Группа C')
plt.tight_layout()
plt.show()

# Создание тестовых данных с датами
dates = pd.date_range('2025-01-01', periods=365, freq='D')
sales = np.random.normal(1000, 200, 365) + np.sin(np.arange(365)/30)*300
time_df = pd.DataFrame({'Дата': dates, 'Продажи': sales})

# Добавим столбец с месяцем
time_df['Месяц'] = time_df['Дата'].dt.month_name()

# Построение boxplot по месяцам
time_df.boxplot(column='Продажи', by='Месяц')
plt.title('Распределение продаж по месяцам')
plt.suptitle('')
plt.xticks(rotation=45)
plt.ylabel('Объем продаж')
plt.show()

# Расширенная настройка внешнего вида
df.boxplot(
patch_artist=True, # Заливка ящиков цветом
boxprops={'facecolor': 'lightblue'}, # Цвет заливки ящика
medianprops={'color': 'red', 'linewidth': 2}, # Стиль медианы
whiskerprops={'color': 'black', 'linestyle': '--'}, # Стиль усов
capprops={'color': 'green', 'linewidth': 2}, # Стиль границ усов
flierprops={'marker': 'o', 'markerfacecolor': 'red', # Стиль выбросов
'markersize': 8, 'markeredgecolor': 'black'},
grid=True, # Включение сетки
vert=True, # Вертикальная ориентация
notch=True, # Добавление выемки для оценки доверительного интервала медианы
sym='*', # Символ для выбросов
return_type='dict' # Тип возвращаемого значения для дальнейшей настройки
)

plt.title('Усовершенствованная диаграмма размаха', fontsize=14)
plt.ylabel('Значения', fontsize=12)
plt.grid(axis='y', linestyle='--', alpha=0.7) # Настройка сетки только по оси Y
plt.tight_layout()
plt.show()

# Создание индивидуальных boxplot для каждой группы
fig, ax = plt.subplots(figsize=(10, 6))

# Определим цвета для каждой группы
colors = ['#3498db', '#e74c3c', '#2ecc71']

# Создаем boxplot с кастомными цветами
bplot = ax.boxplot([df['Группа A'], df['Группа B'], df['Группа C']],
patch_artist=True, # Заливка ящиков
notch=True, # Выемка для доверительного интервала
vert=True, # Вертикальная ориентация
widths=0.35) # Ширина ящиков

# Настраиваем цвета для каждого ящика
for patch, color in zip(bplot['boxes'], colors):
patch.set_facecolor(color)
patch.set_alpha(0.7)

# Настройка других элементов
for whisker in bplot['whiskers']:
whisker.set(color='#7f8c8d', linewidth=1.5, linestyle='--')

for cap in bplot['caps']:
cap.set(color='#7f8c8d', linewidth=2)

for median in bplot['medians']:
median.set(color='white', linewidth=2)

for flier in bplot['fliers']:
flier.set(marker='o', markerfacecolor='#e74c3c', 
markersize=6, markeredgecolor='none')

# Добавление меток, заголовка и сетки
ax.set_xticklabels(['Группа A', 'Группа B', 'Группа C'])
ax.set_ylabel('Значения', fontsize=12)
ax.set_title('Кастомизированная диаграмма размаха', fontsize=14)
ax.yaxis.grid(True, linestyle='--', alpha=0.7)

# Добавление легенды для интерпретации цветов
from matplotlib.patches import Patch
legend_elements = [Patch(facecolor=color, edgecolor='black',
alpha=0.7, label=f'Группа {label}')
for color, label in zip(colors, ['A', 'B', 'C'])]
ax.legend(handles=legend_elements, loc='upper right')

plt.tight_layout()
plt.show()

# Использование современных стилей
plt.style.use('seaborn-v0_8-whitegrid') # или 'ggplot', 'fivethirtyeight'

# Построение графика
df.boxplot(return_type='dict')

# Настройка цветовой схемы
plt.rcParams['axes.prop_cycle'] = plt.cycler(color=['#2c3e50', '#e74c3c', '#3498db', 
'#2ecc71', '#f1c40f', '#9b59b6'])

plt.tight_layout()
plt.show()

# Создаем реалистичные данные для анализа
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import scipy.stats as stats

# Генерируем данные с разными распределениями
np.random.seed(42)
normal_data = np.random.normal(100, 15, 1000) # Нормальное распределение
skewed_right = np.random.exponential(20, 1000) + 70 # Правосторонняя асимметрия
skewed_left = 130 – np.random.exponential(20, 1000) # Левосторонняя асимметрия
bimodal = np.concatenate([
np.random.normal(85, 10, 500), 
np.random.normal(115, 10, 500)
]) # Бимодальное распределение

# Собираем в DataFrame
analysis_df = pd.DataFrame({
'Нормальное': normal_data,
'Правосторонняя асимметрия': skewed_right,
'Левосторонняя асимметрия': skewed_left,
'Бимодальное': bimodal
})

# Строим диаграмму размаха
plt.figure(figsize=(14, 7))
boxplot = analysis_df.boxplot(return_type='dict')

plt.title('Сравнение различных распределений данных')
plt.ylabel('Значения')
plt.grid(axis='y', linestyle='--', alpha=0.7)
plt.show()

# Настройка параметра whis для изменения определения выбросов
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# Создаем данные с известными выбросами
np.random.seed(42)
base_data = np.random.normal(100, 15, 200)
outliers = np.array([160, 165, 25, 30, 210])
combined_data = np.concatenate([base_data, outliers])

df_outliers = pd.DataFrame({
'Стандартное определение (1.5 IQR)': combined_data,
'Строгое определение (1.0 IQR)': combined_data,
'Мягкое определение (2.0 IQR)': combined_data
})

# Создаем подграфики для сравнения
fig, axes = plt.subplots(1, 3, figsize=(15, 6), sharey=True)

# Разные пороги для выбросов
df_outliers['Стандартное определение (1.5 IQR)'].plot.box(ax=axes[0], whis=1.5)
df_outliers['Строгое определение (1.0 IQR)'].plot.box(ax=axes[1], whis=1.0)
df_outliers['Мягкое определение (2.0 IQR)'].plot.box(ax=axes[2], whis=2.0)

axes[0].set_title('Стандартный (1.5 IQR)')
axes[1].set_title('Строгий (1.0 IQR)')
axes[2].set_title('Мягкий (2.0 IQR)')

# Добавляем общий заголовок
fig.suptitle('Сравнение разных порогов определения выбросов', fontsize=16)
plt.tight_layout()
plt.show()

def analyze_outliers(dataframe, column, whis=1.5):
"""
Комплексный анализ выбросов в указанном столбце DataFrame.

Параметры:
- dataframe: pd.DataFrame – исходный датафрейм
- column: str – название анализируемого столбца
- whis: float – множитель для определения границ выбросов (default: 1.5)

Возвращает:
- dict – словарь с результатами анализа
"""
# Расчет квартилей и IQR
q1 = dataframe[column].quantile(0.25)
q3 = dataframe[column].quantile(0.75)
iqr = q3 – q1

# Определение границ для выбросов
lower_bound = q1 – (whis * iqr)
upper_bound = q3 + (whis * iqr)

# Идентификация выбросов
outliers = dataframe[(dataframe[column] < lower_bound) | 
(dataframe[column] > upper_bound)]

# Визуализация
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 6))

# Boxplot
dataframe.boxplot(column=column, ax=ax1, whis=whis)
ax1.set_title(f'Диаграмма размаха для {column} (whis={whis})')

# Гистограмма с отмеченными границами выбросов
dataframe[column].hist(bins=30, ax=ax2)
ax2.axvline(x=lower_bound, color='r', linestyle='--', 
label=f'Нижняя граница ({lower_bound:.2f})')
ax2.axvline(x=upper_bound, color='g', linestyle='--', 
label=f'Верхняя граница ({upper_bound:.2f})')
ax2.legend()
ax2.set_title(f'Распределение {column} с границами выбросов')

plt.tight_layout()
plt.show()

# Сбор статистики о выбросах
n_lower_outliers = sum(dataframe[column] < lower_bound)
n_upper_outliers = sum(dataframe[column] > upper_bound)
total_outliers = n_lower_outliers + n_upper_outliers
outlier_percentage = (total_outliers / len(dataframe)) * 100

results = {
'Общее количество наблюдений': len(dataframe),
'Количество выбросов': total_outliers,
'Процент выбросов': outlier_percentage,
'Нижних выбросов': n_lower_outliers,
'Верхних выбросов': n_upper_outliers,
'Q1': q1,
'Q3': q3,
'IQR': iqr,
'Нижняя граница': lower_bound,
'Верхняя граница': upper_bound,
'Выбросы': outliers
}

return results

# Создаем данные с выбросами
np.random.seed(42)
base_values = np.random.normal(100, 15, 200)
outliers = np.array([160, 165, 25, 30, 210])
data_with_outliers = np.concatenate([base_values, outliers])

# Создаем DataFrame
methods_df = pd.DataFrame({
'Исходные данные': data_with_outliers,
'Винзоризация': pd.Series(data_with_outliers).clip(
lower=pd.Series(data_with_outliers).quantile(0.05),
upper=pd.Series(data_with_outliers).quantile(0.95)
),
'Удаление выбросов': pd.Series(data_with_outliers)[
(pd.Series(data_with_outliers) >= pd.Series(data_with_outliers).quantile(0.25) – 
1.5 * (pd.Series(data_with_outliers).quantile(0.75) – pd.Series(data_with_outliers).quantile(0.25))) &
(pd.Series(data_with_outliers) <= pd.Series(data_with_outliers).quantile(0.75) + 
1.5 * (pd.Series(data_with_outliers).quantile(0.75) – pd.Series(data_with_outliers).quantile(0.25)))
],
'Логарифмическое преобразование': np.log1p(data_with_outliers – min(data_with_outliers) + 1)
})

# Создаем панель с boxplot для каждого метода
methods_df.boxplot(figsize=(14, 7))
plt.title('Сравнение методов обработки выбросов', fontsize=16)
plt.ylabel('Значения')
plt.grid(axis='y', linestyle='--', alpha=0.7)
plt.show()

# Анализ влияния выбросов на статистические показатели
def outliers_impact_analysis(data):
"""Анализ влияния выбросов на статистические показатели"""
# Рассчитываем границы выбросов
q1 = data.quantile(0.25)
q3 = data.quantile(0.75)
iqr = q3 – q1
lower_bound = q1 – 1.5 * iqr
upper_bound = q3 + 1.5 * iqr

# Определяем маску для выбросов
outlier_mask = (data < lower_bound) | (data > upper_bound)

# Данные без выбросов
data_clean = data[~outlier_mask]

# Статистические показатели
stats_with_outliers = {
'Среднее': data.mean(),
'Медиана': data.median(),
'Стандартное отклонение': data.std(),
'Минимум': data.min(),
'Максимум': data.max()
}

stats_without_outliers = {
'Среднее': data_clean.mean(),
'Медиана': data_clean.median(),
'Стандартное отклонение': data_clean.std(),
'Минимум': data_clean.min(),
'Максимум': data_clean.max()
}

# Создаем визуализацию
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 6))

# Boxplot для сравнения
pd.DataFrame({
'С выбросами': data,
'Без выбросов': data_clean
}).boxplot(ax=ax1)
ax1.set_title('Сравнение данных с выбросами и без них')

# Сравнение статистических показателей
comparison = pd.DataFrame({
'С выбросами': stats_with_outliers,
'Без выбросов': stats_without_outliers,
'Изменение (%)': {k: (stats_without_outliers[k] – stats_with_outliers[k]) / 
stats_with_outliers[k] * 100 for k in stats_with_outliers}
})

# Визуализация изменений в статистике
comparison['Изменение (%)'].plot(kind='bar', ax=ax2)
ax2.set_title('Влияние выбросов на статистические показатели (%)')
ax2.set_ylabel('Изменение (%)')
ax2.grid(axis='y', linestyle='--', alpha=0.7)

plt.tight_layout()
plt.show()

return comparison

# Применяем анализ к нашим данным
outliers_impact_analysis(pd.Series(data_with_outliers))