Python как инструмент статистического анализа данных: особенности

Метеоры и пепел. Мощные компиляторы, бездействующие программы. Как же Астрологи могут выучить это? Всё так непонятно. Это путь абстракции, это ценное наблюдение. Прямым текстом, это вызывает определённый настрой. Странное решение. Сложный выбор.

В простом космосе сколько много Времени и функций. Как все их понять и изучить? Ну, вроде, понятно. А вроде – не очень. В этот момент скорее хочется найти просто в интернете решение своей проблемы и продолжить бездействующее существование.

Python превратился в ведущий инструмент статистического анализа: почему

AI: I apologize for the confused response. Let me provide a proper SEO title for your article about Python for statistical analysis:

Python для статистического анализа: мощные библиотеки и возможности Для кого эта статья:

• Аналитики данных и профессионалы в области статистики
• Студенты и начинающие специалисты, желающие освоить Python для анализа данных

• Руководители и специалисты, занимающиеся принятием бизнес-решений на основе данных

  Python превратился в незаменимый инструмент статистического анализа, полностью трансформировав подход к работе с данными. За считанные годы его экосистема научных вычислений расцвела настолько, что теперь позволяет решать задачи любой сложности — от базовой описательной статистики до продвинутого машинного обучения. Аналитики, исследователи и дата-сайентисты выбирают Python не случайно: этот язык сочетает гибкость, понятный синтаксис и мощный набор специализированных библиотек, способных обрабатывать терабайты данных. 📊🐍

Хотите выйти на новый профессиональный уровень в мире аналитики данных? Курс Профессия аналитик данных от Skypro поможет вам освоить Python для статистического анализа с нуля до продвинутых техник. Программа включает практические проекты с реальными данными, позволяя сразу применять NumPy, Pandas и другие библиотеки для решения бизнес-задач. Наши выпускники становятся востребованными специалистами, способными трансформировать сырые данные в ценные инсайты.

Python и статистика: основной инструментарий аналитика

Python уже давно перестал быть просто языком программирования — для аналитиков данных он превратился в полноценную экосистему, объединяющую мощные инструменты статистического анализа. В отличие от традиционных статистических пакетов вроде SPSS или SAS, Python предлагает гибкость и возможность автоматизации, сохраняя при этом доступность для новичков.

Каждая задача статистического анализа в Python решается с помощью специализированных библиотек, каждая из которых фокусируется на определенных аспектах работы с данными:

• NumPy — обеспечивает высокопроизводительные многомерные массивы и математические функции для работы с ними
• Pandas — предоставляет структуры данных и инструменты для манипуляций с табличными данными
• Matplotlib и Seaborn — создают статистические графики и визуализации
• SciPy — реализует научные алгоритмы и статистические функции
• Statsmodels — специализируется на статистических моделях и проверке гипотез
• Scikit-learn — предлагает инструменты для машинного обучения и статистического моделирования

Эта комбинация инструментов позволяет решать полный спектр статистических задач — от базового анализа распределений до построения сложных прогностических моделей. Ключевое преимущество Python — возможность объединять библиотеки в единый аналитический конвейер.

Для начинающих аналитиков важно понимать, что освоение Python для статистики — это не только изучение синтаксиса, но и понимание принципов работы с данными. Каждый проект начинается с загрузки и очистки данных, продолжается разведочным анализом и завершается статистическим моделированием или проверкой гипотез.

Александр Петров, Senior Data Analyst Моя карьера в аналитике началась с Excel и базовых SQL-запросов. Когда я впервые столкнулся с необходимостью анализировать логи пользовательского поведения на крупном маркетплейсе, я понял, что прежних инструментов недостаточно. Датасет содержал более 5 миллионов записей о действиях пользователей, и Excel просто зависал при попытке открыть такой объем данных.

Python стал для меня откровением. С помощью Pandas я смог загрузить и фильтровать данные по частям, используя NumPy для быстрых вычислений паттернов поведения. Seaborn позволил визуализировать сложные многомерные взаимосвязи, а SciPy предоставил инструменты для проверки статистических гипотез о поведении разных сегментов пользователей.

Результатом стала полностью автоматизированная аналитическая система, выявляющая пользователей с высокой вероятностью конверсии. Это увеличило эффективность маркетинговых кампаний на 37% и сэкономило компании более 2 миллионов рублей ежемесячно на таргетированной рекламе.

NumPy и Pandas: фундамент статистических вычислений

NumPy и Pandas составляют основу экосистемы статистического анализа в Python, обеспечивая эффективную работу с числовыми данными и табличными структурами. Эти библиотеки позволяют выполнять вычисления на скорости, сравнимой с языками C/C++, сохраняя при этом простоту и читаемость Python-кода.

NumPy (Numerical Python) специализируется на работе с многомерными массивами, предоставляя функционал для:

• Создания и манипуляции с векторами, матрицами и тензорами более высоких размерностей
• Выполнения векторизованных операций, избегая медленных циклов Python
• Расчета базовых статистических показателей (среднее, медиана, дисперсия)
• Линейной алгебры (умножение матриц, разложения, решение систем уравнений)
• Генерации случайных чисел с различными распределениями

Основной объект NumPy — ndarray (n-dimensional array), который обеспечивает высокопроизводительные операции над однотипными данными. Пример базовых вычислений с NumPy:

import numpy as np

# Создание массива
data = np.array([2, 4, 6, 8, 10])

# Базовая статистика
print("Среднее:", data.mean())
print("Стандартное отклонение:", data.std())
print("Дисперсия:", data.var())

# Генерация случайных данных из нормального распределения
random_data = np.random.normal(loc=0, scale=1, size=1000)

Pandas расширяет возможности NumPy, предоставляя структуры данных Series (одномерная) и DataFrame (двумерная таблица), оптимизированные для работы с табличными данными. Pandas обеспечивает:

• Загрузку данных из различных источников (CSV, Excel, SQL, JSON)
• Мощные инструменты для очистки и подготовки данных
• Удобную работу с временными рядами
• Гибкую группировку и агрегирование данных
• Функции для расчета описательной статистики

Пример работы с Pandas для статистического анализа:

import pandas as pd

# Загрузка данных
df = pd.read_csv('dataset.csv')

# Основная информация о данных
print(df.info())
print(df.describe())

# Расчет корреляций
correlation_matrix = df.corr()

# Группировка и агрегирование
stats_by_category = df.groupby('category')['value'].agg(['count', 'mean', 'std', 'min', 'max'])

Для статистического анализа особенно полезно объединение возможностей NumPy и Pandas. Например, комбинируя их, можно эффективно провести анализ выбросов в данных:

import numpy as np
import pandas as pd

# Загрузка данных
df = pd.read_csv('dataset.csv')

# Расчет Z-оценок для выявления выбросов
df['z_score'] = np.abs((df['value'] – df['value'].mean()) / df['value'].std())

# Фильтрация выбросов (z_score > 3)
outliers = df[df['z_score'] > 3]

Ключевым преимуществом связки NumPy-Pandas является возможность обработки больших объемов данных с минимальными накладными расходами памяти и процессорного времени. Векторизованные операции NumPy многократно быстрее циклов Python, а структуры данных Pandas оптимизированы для аналитических операций.

Визуализация статистических данных с Matplotlib и Seaborn

Визуализация данных — критически важный этап статистического анализа, позволяющий выявлять паттерны и аномалии, недоступные при изучении сырых чисел. Python предлагает два мощных инструмента: Matplotlib для низкоуровневой настройки графиков и Seaborn для быстрого создания статистически информативных визуализаций. 📈

Matplotlib — это фундаментальная библиотека для создания статических, анимированных и интерактивных визуализаций. Она обеспечивает полный контроль над каждым элементом графика, но требует больше кода для сложных визуализаций:

import matplotlib.pyplot as plt
import numpy as np

# Создаем данные
x = np.linspace(0, 10, 100)
y = np.sin(x)

# Базовый график
plt.figure(figsize=(10, 6))
plt.plot(x, y, 'b-', linewidth=2, label='sin(x)')
plt.scatter(x[::10], y[::10], color='red', s=50)

# Настройка графика
plt.title('Синусоида', fontsize=16)
plt.xlabel('X', fontsize=14)
plt.ylabel('sin(X)', fontsize=14)
plt.grid(True, linestyle='--', alpha=0.7)
plt.legend(fontsize=12)

# Сохранение и отображение
plt.savefig('sinusoid.png', dpi=300, bbox_inches='tight')
plt.show()

Seaborn — высокоуровневая библиотека визуализации, построенная на основе Matplotlib. Она предоставляет интерфейс для создания статистически ориентированных графиков, оптимизированных для анализа данных:

import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt

# Загружаем демонстрационный набор данных
tips = sns.load_dataset('tips')

# Комплексная статистическая визуализация
plt.figure(figsize=(12, 8))
sns.set_style("whitegrid")
sns.set_palette("deep")

# Скрипичная диаграмма с наложенным боксплотом
ax = sns.violinplot(x="day", y="total_bill", hue="sex", 
split=True, data=tips, inner="quartile")
ax.set_title("Распределение счетов по дням недели и полу", fontsize=16)

plt.tight_layout()
plt.show()

Для статистического анализа особенно полезны следующие типы визуализаций:

• Гистограммы и KDE-графики — для анализа распределений данных
• Боксплоты и скрипичные диаграммы — для сравнения распределений между группами
• Диаграммы рассеяния — для выявления корреляций между переменными
• Тепловые карты — для визуализации корреляционных матриц
• Парные графики — для комплексного анализа взаимосвязей в многомерных данных
• Графики временных рядов — для анализа данных с временной составляющей

Мария Соколова, Data Visualization Specialist Недавно я работала с компанией, занимающейся анализом потребительского поведения. Они собирали огромные объемы данных о покупках, но не могли донести ключевые выводы до руководства, которое тонуло в Excel-таблицах с тысячами строк.

Мы решили применить многомерную визуализацию с помощью Seaborn и Matplotlib. Создали интерактивную дашборд-систему, где менеджеры могли исследовать тренды и аномалии в данных о продажах.

Ключевым моментом стала визуализация сегментации клиентов с помощью t-SNE алгоритма, реализованного в scikit-learn, с последующим отображением через Seaborn. На графике сразу стали видны четкие кластеры покупателей с различным поведением. Это позволило компании разработать таргетированные маркетинговые стратегии для каждой группы.

После внедрения новых визуализаций время принятия решений сократилось с нескольких дней до часов, а конверсия маркетинговых кампаний выросла на 23%. Самым удивительным было то, что руководители компании, которые раньше избегали "скучных данных", теперь сами стали инициировать аналитические исследования, потому что могли интуитивно понимать результаты через визуализации.

Комбинирование Matplotlib и Seaborn дает наибольшую гибкость. Обычно статистический анализ начинается с быстрых визуализаций в Seaborn для разведки данных, а затем переходит к настроенным графикам на Matplotlib для финальной презентации результатов:

import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
import numpy as np

# Создаем синтетические данные о зависимости успеваемости от времени на учебу
np.random.seed(42)
n = 100
study_time = np.random.normal(loc=25, scale=10, size=n)
noise = np.random.normal(loc=0, scale=10, size=n)
grades = 0.5 * study_time + 50 + noise
df = pd.DataFrame({
'study_time': study_time,
'grades': grades,
'group': np.random.choice(['A', 'B', 'C'], size=n)
})

# Создаем составную визуализацию
fig, axes = plt.subplots(2, 2, figsize=(12, 10))

# Диаграмма рассеяния с линией регрессии (Seaborn)
sns.regplot(x='study_time', y='grades', data=df, ax=axes[0, 0])
axes[0, 0].set_title('Зависимость оценок от времени на учебу')

# Гистограммы распределений (Matplotlib + Numpy)
axes[0, 1].hist(df['grades'], bins=15, alpha=0.7, color='skyblue')
axes[0, 1].set_title('Распределение оценок')
axes[0, 1].axvline(df['grades'].mean(), color='red', linestyle='--')

# Боксплоты по группам (Seaborn)
sns.boxplot(x='group', y='grades', data=df, ax=axes[1, 0])
axes[1, 0].set_title('Сравнение оценок по группам')

# Скрипичная диаграмма (Seaborn)
sns.violinplot(x='group', y='grades', data=df, ax=axes[1, 1], inner='quartile')
axes[1, 1].set_title('Распределение оценок по группам')

plt.tight_layout()
plt.savefig('statistical_visualization.png', dpi=300)
plt.show()

Выбор правильного типа визуализации критически важен для эффективного представления статистических данных. Руководствуйтесь следующими принципами:

• Для сравнения категорий используйте столбчатые диаграммы или боксплоты
• Для анализа распределений — гистограммы или графики плотности вероятности
• Для выявления корреляций — диаграммы рассеяния с регрессионными линиями
• Для визуализации пропорций — круговые или кольцевые диаграммы
• Для сложных многомерных данных — тепловые карты или параллельные координаты

Помните, что цель статистической визуализации — не просто создать привлекательную картинку, а передать информацию наиболее точным и понятным образом, позволяя выявлять тренды и аномалии в данных.

Проверка гипотез и статистические тесты с SciPy и Statsmodels

Статистическая проверка гипотез — ключевой инструмент для принятия обоснованных решений на основе данных. Python предлагает две мощные библиотеки для проведения статистических тестов: SciPy, которая обеспечивает широкий спектр базовых тестов, и Statsmodels, предоставляющую более сложные модели и подробную статистическую отчетность. 🔬

SciPy.stats — модуль, который содержит множество функций для статистического анализа и тестирования гипотез. Он включает:

• Параметрические тесты (t-тесты, ANOVA, Z-тесты)
• Непараметрические тесты (Mann-Whitney, Wilcoxon, Kruskal-Wallis)
• Тесты на нормальность (Shapiro-Wilk, D'Agostino-Pearson, Kolmogorov-Smirnov)
• Тесты корреляции (Pearson, Spearman, Kendall)
• Тесты для категориальных данных (Хи-квадрат)

Пример использования SciPy для проверки гипотезы о равенстве средних двух выборок:

import numpy as np
from scipy import stats

# Генерируем две выборки
np.random.seed(42)
group1 = np.random.normal(loc=100, scale=15, size=100) # Контрольная группа
group2 = np.random.normal(loc=105, scale=15, size=100) # Экспериментальная группа

# Проверяем нормальность распределения (необходимо для t-теста)
shapiro_test1 = stats.shapiro(group1)
shapiro_test2 = stats.shapiro(group2)

print(f"Тест на нормальность группы 1: p={shapiro_test1.pvalue:.4f}")
print(f"Тест на нормальность группы 2: p={shapiro_test2.pvalue:.4f}")

# Если данные нормальны (p > 0.05), используем t-тест
if shapiro_test1.pvalue > 0.05 and shapiro_test2.pvalue > 0.05:
# Тест Левене на равенство дисперсий
levene_test = stats.levene(group1, group2)
print(f"Тест Левене на равенство дисперсий: p={levene_test.pvalue:.4f}")

# Выбираем правильную версию t-теста в зависимости от равенства дисперсий
equal_var = levene_test.pvalue > 0.05
t_test = stats.ttest_ind(group1, group2, equal_var=equal_var)
print(f"t-тест: t={t_test.statistic:.4f}, p={t_test.pvalue:.4f}")

# Интерпретация результата
if t_test.pvalue < 0.05:
print("Отклоняем нулевую гипотезу: средние значения групп различаются")
else:
print("Не можем отклонить нулевую гипотезу: нет статистически значимых различий")
else:
# Для ненормальных данных используем непараметрический тест
u_test = stats.mannwhitneyu(group1, group2)
print(f"Тест Манна-Уитни: U={u_test.statistic:.4f}, p={u_test.pvalue:.4f}")

if u_test.pvalue < 0.05:
print("Отклоняем нулевую гипотезу: распределения групп различаются")
else:
print("Не можем отклонить нулевую гипотезу: нет статистически значимых различий")

Statsmodels — библиотека, которая расширяет возможности статистического анализа, предоставляя более детальные результаты тестов и расширенные модели. Преимущества Statsmodels:

• Подробные результаты тестов с множеством статистик
• Продвинутые регрессионные модели (OLS, WLS, GLS, GLM)
• Тесты для временных рядов
• Методы анализа дисперсии и ковариации
• Встроенные диагностические инструменты для моделей

Пример использования Statsmodels для проведения ANOVA и множественного сравнения:

import numpy as np
import pandas as pd
import statsmodels.api as sm
from statsmodels.formula.api import ols
from statsmodels.stats.multicomp import pairwise_tukeyhsd

# Создаем синтетические данные для эксперимента с тремя группами
np.random.seed(42)
group_a = np.random.normal(loc=10, scale=2, size=50)
group_b = np.random.normal(loc=12, scale=2, size=50)
group_c = np.random.normal(loc=11, scale=2, size=50)

# Создаем датафрейм
df = pd.DataFrame({
'value': np.concatenate([group_a, group_b, group_c]),
'group': np.repeat(['A', 'B', 'C'], repeats=50)
})

# Проводим однофакторный дисперсионный анализ (ANOVA)
model = ols('value ~ C(group)', data=df).fit()
anova_table = sm.stats.anova_lm(model, typ=2)
print("ANOVA результаты:")
print(anova_table)

# Если ANOVA показала значимые различия, проводим post-hoc тест Тьюки
if anova_table['PR(>F)'][0] < 0.05:
print("\nЕсть статистически значимые различия между группами")

# Проводим тест Тьюки для множественных сравнений
tukey = pairwise_tukeyhsd(df['value'], df['group'], alpha=0.05)
print("\nРезультаты теста Тьюки:")
print(tukey.summary())
else:
print("\nНет статистически значимых различий между группами")

Выбор правильного статистического теста зависит от типа данных и исследовательского вопроса. Используйте следующую таблицу для ориентира:

При проведении множественных сравнений необходимо учитывать проблему множественных проверок и применять соответствующие коррекции (Бонферрони, метод Холма, FDR и др.). Statsmodels предоставляет функции для этих коррекций:

import numpy as np
from statsmodels.stats.multitest import multipletests

# Предположим, у нас есть p-значения из множественных тестов
p_values = np.array([0\.01, 0.04, 0.03, 0.005, 0.06, 0.1])

# Применяем различные методы коррекции
bonferroni = multipletests(p_values, method='bonferroni')
holm = multipletests(p_values, method='holm')
fdr_bh = multipletests(p_values, method='fdr_bh') # Benjamini-Hochberg FDR

print("Исходные p-значения:", p_values)
print("Скорректированные (Bonferroni):", bonferroni[1])
print("Скорректированные (Holm):", holm[1])
print("Скорректированные (Benjamini-Hochberg):", fdr_bh[1])

Правильный выбор и интерпретация статистических тестов — краеугольный камень достоверного анализа данных. Всегда проверяйте предпосылки тестов, используйте подходящие методы коррекции при множественных сравнениях и помните, что статистическая значимость не всегда означает практическую значимость результатов.

Практические кейсы: от описательной статистики до регрессий

Теоретическое понимание библиотек Python для статистики — лишь первый шаг. Настоящая ценность проявляется при решении реальных аналитических задач. Рассмотрим несколько практических кейсов, демонстрирующих полный цикл статистического анализа. 🧪

Кейс 1: Разведочный анализ данных (EDA) и описательная статистика

Представим, что мы анализируем датасет о продажах интернет-магазина. Первый шаг — загрузка, очистка данных и получение базовых статистических показателей:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# Загрузка данных (предположим, что у нас есть CSV-файл с данными о продажах)
sales_data = pd.read_csv('sales_data.csv')

# Базовая очистка данных
sales_data.dropna(inplace=True) # Удаляем строки с пропущенными значениями
sales_data = sales_data[sales_data['price'] > 0] # Удаляем некорректные цены

# Описательная статистика
print("Основные статистики:")
print(sales_data.describe())

# Анализ корреляций
correlation = sales_data.select_dtypes(include=[np.number]).corr()
plt.figure(figsize=(10, 8))
sns.heatmap(correlation, annot=True, cmap='coolwarm', vmin=-1, vmax=1)
plt.title('Корреляционная матрица числовых переменных')
plt.tight_layout()
plt.show()

# Анализ распределения ключевых метрик
fig, axes = plt.subplots(2, 2, figsize=(14, 10))

# Распределение цен
sns.histplot(sales_data['price'], kde=True, ax=axes[0, 0])
axes[0, 0].set_title('Распределение цен')
axes[0, 0].axvline(sales_data['price'].mean(), color='red', linestyle='--')
axes[0, 0].axvline(sales_data['price'].median(), color='green', linestyle='-.')

# Распределение количества проданных товаров
sns.histplot(sales_data['quantity'], kde=True, ax=axes[0, 1])
axes[0, 1].set_title('Распределение количества товаров в заказе')

# Продажи по категориям
category_sales = sales_data.groupby('category')['total_amount'].sum().sort_values(ascending=False)
category_sales.plot(kind='bar', ax=axes[1, 0])
axes[1, 0].set_title('Общие продажи по категориям')

# Продажи по времени
sales_data['order_date'] = pd.to_datetime(sales_data['order_date'])
sales_data.set_index('order_date')['total_amount'].resample('M').sum().plot(ax=axes[1, 1])
axes[1, 1].set_title('Динамика продаж по месяцам')

plt.tight_layout()
plt.show()

Кейс 2: Проверка бизнес-гипотезы с помощью A/B-теста

Предположим, что маркетинговый отдел провел A/B-тест двух версий рекламной кампании и нужно определить, какая из них эффективнее:

import numpy as np
import pandas as pd
from scipy import stats
import matplotlib.pyplot as plt
import seaborn as sns

# Загрузка данных А/В-теста
ab_data = pd.read_csv('ab_test_results.csv')

# Базовый анализ
print("Количество пользователей в группе A:", ab_data[ab_data['group'] == 'A'].shape[0])
print("Количество пользователей в группе B:", ab_data[ab_data['group'] == 'B'].shape[0])

# Расчет конверсии в каждой группе
conv_a = ab_data[ab_data['group'] == 'A']['converted'].mean()
conv_b = ab_data[ab_data['group'] == 'B']['converted'].mean()
print(f"Конверсия в группе A: {conv_a:.4f} ({conv_a*100:.2f}%)")
print(f"Конверсия в группе B: {conv_b:.4f} ({conv_b*100:.2f}%)")
print(f"Относительное улучшение: {((conv_b – conv_a) / conv_a)*100:.2f}%")

# Визуализация различий в конверсии
plt.figure(figsize=(10, 6))
sns.barplot(x='group', y='converted', data=ab_data, ci=95)
plt.title('Конверсия по группам с 95% доверительными интервалами')
plt.ylabel('Коэффициент конверсии')
plt.show()

# Проведение статистического теста (z-тест для пропорций)
# Извлекаем количество успехов и размеры групп
n_a = ab_data[ab_data['group'] == 'A'].shape[0]
n_b = ab_data[ab_data['group'] == 'B'].shape[0]
x_a = ab_data[(ab_data['group'] == 'A') & (ab_data['converted'] == 1)].shape[0]
x_b = ab_data[(ab_data['group'] == 'B') & (ab_data['converted'] == 1)].shape[0]

# Проводим z-тест для двух пропорций
from statsmodels.stats.proportion import proportions_ztest
count = np.array([x_a, x_b])
nobs = np.array([n_a, n_b])
z_stat, p_value = proportions_ztest(count, nobs)

print(f"z-статистика: {z_stat:.4f}")
print(f"p-значение: {p_value:.4f}")

# Интерпретация результата
alpha = 0.05
if p_value < alpha:
print("Отклоняем нулевую гипотезу: разница в конверсии статистически значима.")
if conv_b > conv_a:
print("Вариант B показал значимо лучшие результаты.")
else:
print("Вариант A показал значимо лучшие результаты.")
else:
print("Не можем отклонить нулевую гипотезу: разница в конверсии статистически не значима.")

# Расчет доверительного интервала для разницы пропорций
from statsmodels.stats.proportion import proportion_confint
ci_a = proportion_confint(x_a, n_a, alpha=0.05, method='normal')
ci_b = proportion_confint(x_b, n_b, alpha=0.05, method='normal')

print(f"95% доверительный интервал для группы A: ({ci_a[0]:.4f}, {ci_a[1]:.4f})")
print(f"95% доверительный интервал для группы B: ({ci_b[0]:.4f}, {ci_b[1]:.4f})")

Кейс 3: Прогнозирование с помощью множественной линейной регрессии

Предположим, мы хотим построить модель, предсказывающую цены на жилье на основе нескольких характеристик:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import statsmodels.api as sm
from statsmodels.formula.api import ols
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

# Загрузка данных о недвижимости
housing_data = pd.read_csv('housing_data.csv')

# Разведочный анализ данных
print("Базовая информация о данных:")
print(housing_data.info())
print("\nСтатистика:")
print(housing_data.describe())

# Визуализация отношений между переменными
plt.figure(figsize=(12, 10))
sns.pairplot(housing_data, vars=['price', 'area', 'bedrooms', 'bathrooms', 'age'], 
diag_kind='kde')
plt.suptitle('Взаимоотношения между ключевыми характеристиками недвижимости', y=1.02)
plt.show()

# Проверка на мультиколлинеарность
plt.figure(figsize=(10, 8))
correlation = housing_data.select_dtypes(include=[np.number]).corr()
sns.heatmap(correlation, annot=True, cmap='coolwarm')
plt.title('Корреляционная матрица')
plt.show()

# Подготовка данных для моделирования
X = housing_data[['area', 'bedrooms', 'bathrooms', 'age', 'garage']]
y = housing_data['price']

# Разделение на тренировочный и тестовый наборы
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Построение модели с помощью statsmodels для детальной статистики
X_train_sm = sm.add_constant(X_train) # Добавление константы для учета свободного члена
model = sm.OLS(y_train, X_train_sm).fit()
print(model.summary())

# Проверка на гетероскедастичность
from statsmodels.stats.diagnostic import het_breuschpagan
bp_test = het_breuschpagan(model.resid, model.model.exog)
labels = ['LM статистика', 'LM p-value', 'F статистика', 'F p-value']
print("Тест Брёйша-Пагана на гетероскедастичность:")
print(dict(zip(labels, bp_test)))

# Визуализация остатков
plt.figure(figsize=(12, 6))
plt.subplot(1, 2, 1)
plt.scatter(model.fittedvalues, model.resid)
plt.axhline(y=0, color='r', linestyle='-')
plt.xlabel('Предсказанные значения')
plt.ylabel('Остатки')
plt.title('Остатки vs. Предсказанные значения')

plt.subplot(1, 2, 2)
sns.histplot(model.resid, kde=True)
plt.title('Распределение остатков')
plt.tight_layout()
plt.show()

# Построение модели с помощью scikit-learn для предсказаний
lr_model = LinearRegression()
lr_model.fit(X_train, y_train)

# Оценка на тестовых данных
y_pred = lr_model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
r2 = r2_score(y_test, y_pred)

print(f"Среднеквадратичная ошибка (MSE): {mse:.2f}")
print(f"Корень из среднеквадратичной ошибки (RMSE): {rmse:.2f}")
print(f"Коэффициент детерминации (R²): {r2:.4f}")

# Визуализация реальных vs. предсказанных значений
plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred, alpha=0.7)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--')
plt.xlabel('Реальная цена')
plt.ylabel('Предсказанная цена')
plt.title('Реальные vs. Предсказанные цены на недвижимость')
plt.tight_layout()
plt.show()

Эти примеры демонстрируют, как Python-библиотеки для статистического анализа позволяют решать реальные бизнес-задачи — от базовой разведки данных до построения предиктивных моделей. Ключевые преимущества использования Python:

• Гибкость и возможность комбинировать разные библиотеки в рамках одного анализа
• Автоматизация рутинных задач через написание скриптов и создание пайплайнов обработки данных
• Возможность визуализировать результаты анализа различными способами для лучшего понимания
• Простота масштабирования решений от простых статистических тестов до сложных моделей машинного обучения
• Обширное сообщество и документация, помогающие решать новые задачи

При работе с реальными данными всегда помните о важности:

• Тщательной предварительной обработки и очистки данных
• Проверки предпосылок статистических тестов и моделей
• Правильной интерпретации результатов с учетом контекста бизнес-задачи
• Валидации моделей на независимых данных
• Документирования процесса анализа для воспроизводимости результатов

Статистический анализ с использованием Python — это не просто набор инструментов, а целостная методология работы с данными. Освоив NumPy и Pandas для манипуляций с данными, Matplotlib и Seaborn для визуализации, SciPy и Statsmodels для статистических тестов, вы получаете универсальный набор, способный превращать сырые данные в обоснованные решения. Главное преимущество Python — это экосистема, где каждая библиотека идеально дополняет другие, позволяя плавно переходить от базовой аналитики к продвинутым методам машинного обучения. Постоянно практикуясь и применяя эти инструменты к реальным проблемам, вы не только расширяете свой технический арсенал, но и развиваете аналитическое мышление, необходимое для извлечения истинной ценности из океана данных.