Кластерный анализ: техники группировки данных для аналитиков

Для кого эта статья:

• Профессиональные аналитики данных и специалисты по машинному обучению
• Студенты и начинающие, заинтересованные в аналитике и данных

• Менеджеры и специалисты в области маркетинга, заинтересованные в сегментации клиентов

  Представьте себе анализ гигантского массива данных — 50 000 клиентов вашей компании, сотни характеристик и никакой структуры. Выглядит как задача для супергероя? Кластерный анализ — тот самый супергерой, способный найти скрытые закономерности в этом хаосе. От сегментации клиентов в маркетинге до выявления аномалий в медицинских исследованиях — без кластеризации современный мир аналитики просто невозможен. Давайте разберем эту мощную технику по косточкам, от теории до работающего кода. 🚀

Хотите превратить хаос данных в структурированные инсайты? Кластерный анализ — один из ключевых навыков в арсенале профессионального аналитика данных. Освойте этот метод и десятки других инструментов аналитики на курсе Профессия аналитик данных от Skypro. За 9 месяцев вы пройдете путь от новичка до уверенного специалиста, способного решать реальные бизнес-задачи с помощью Python, SQL и продвинутых методов анализа данных.

Что такое кластерный анализ и зачем он нужен

Кластерный анализ — это метод машинного обучения без учителя, который группирует объекты на основе их сходства. В отличие от классификации, здесь нет предварительно определенных классов или меток. Алгоритм сам обнаруживает структуру в данных, разделяя их на группы (кластеры), где объекты внутри одной группы максимально похожи между собой и максимально отличаются от объектов в других группах. 📊

Почему кластерный анализ критически важен для современной аналитики?

• Обнаружение скрытых паттернов — выявляет неочевидные структуры в данных, которые сложно заметить при обычном анализе
• Сегментация клиентов — позволяет разделить клиентскую базу на группы со схожим поведением для таргетированного маркетинга
• Аномалии и выбросы — помогает идентифицировать нетипичные объекты, которые могут сигнализировать о мошенничестве или проблемах
• Сокращение размерности — упрощает сложные многомерные данные для последующего анализа
• Рекомендательные системы — создает основу для рекомендаций на основе схожих групп пользователей

Алексей Петров, Lead Data Scientist Когда я работал над проектом для крупного интернет-магазина, перед нами стояла задача оптимизировать маркетинговый бюджет. Маркетологи тратили одинаковые суммы на всех клиентов, независимо от их ценности и поведения. Применив кластерный анализ к данным о покупках 2 миллионов клиентов, мы выделили 5 ключевых сегментов. Самым интересным оказался кластер "спящих китов" — клиентов, которые делали редкие, но очень крупные заказы. Ранее их считали низкоприоритетными из-за низкой частоты покупок. Перенаправив на них часть маркетингового бюджета, мы увеличили выручку на 18% за квартал. Такой результат был бы невозможен без кластеризации — ни один эксперт не смог бы вручную проанализировать миллионы профилей и найти эти скрытые закономерности.

Сферы применения кластерного анализа поистине обширны:

Основные алгоритмы кластеризации данных

Существует множество алгоритмов кластеризации, каждый со своими сильными и слабыми сторонами. Рассмотрим наиболее популярные из них:

1. K-means (метод k-средних) — самый известный и широко используемый алгоритм кластеризации.

• Принцип работы: минимизирует сумму квадратов расстояний от объектов до центров кластеров
• Преимущества: быстрый, масштабируемый, прост в реализации и интерпретации
• Недостатки: требует заранее задать число кластеров, плохо работает с кластерами нестандартной формы, чувствителен к выбросам
• Формула: минимизация функции $$J = \sum{i=1}^{n}\sum{j=1}^{k} ||xi – cj||^2$$, где xi — объект, cj — центроид

2. Иерархическая кластеризация — строит дерево кластеров (дендрограмму).

• Агломеративный подход: начинает с отдельных объектов и объединяет их
• Дивизимный подход: начинает с одного кластера и разделяет его
• Преимущества: не требует заранее знать число кластеров, визуально наглядный результат
• Недостатки: высокая вычислительная сложность O(n³), неэффективен для больших данных

3. DBSCAN (Density-Based Spatial Clustering of Applications with Noise) — алгоритм, основанный на плотности.

• Принцип: находит области с высокой плотностью объектов, разделенные областями низкой плотности
• Преимущества: не требует заранее знать количество кластеров, хорошо находит кластеры произвольной формы, устойчив к выбросам
• Недостатки: чувствителен к выбору параметров плотности и расстояния, неэффективен при сильно различающихся плотностях кластеров

4. Gaussian Mixture Models (GMM) — вероятностный подход к кластеризации.

• Принцип: моделирует данные как смесь нескольких гауссовых распределений
• Преимущества: гибкость, учет ковариационной структуры данных, вероятностная принадлежность к кластерам
• Недостатки: чувствительность к инициализации, риск переобучения при сложных моделях

5. OPTICS (Ordering Points To Identify the Clustering Structure) — усовершенствованная версия DBSCAN.

• Принцип: упорядочивает точки для выявления кластерной структуры с разной плотностью
• Преимущества: справляется с кластерами разной плотности, не требует точного задания радиуса окрестности
• Недостатки: высокая вычислительная сложность, сложная интерпретация результатов

Сравнительный анализ алгоритмов кластеризации:

Где n — количество объектов, k — количество кластеров, d — размерность пространства, i — количество итераций.

Подготовка данных для кластерного анализа

Качество кластеризации напрямую зависит от правильной подготовки данных. Рассмотрим ключевые шаги этого процесса: 🔍

1. Очистка данных

• Обработка пропущенных значений — их можно заполнить средними значениями, медианами или использовать более сложные методы импутации
• Устранение дубликатов — идентичные или почти идентичные записи могут искажать результаты
• Обработка выбросов — решите, нужно ли удалять экстремальные значения или они представляют интерес

Пример кода для обработки пропусков в Python:

import pandas as pd
import numpy as np

# Заполнение пропусков средними значениями
df['feature'].fillna(df['feature'].mean(), inplace=True)

# Или использование более продвинутых методов импутации
from sklearn.impute import KNNImputer
imputer = KNNImputer(n_neighbors=5)
df_imputed = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)

2. Преобразование категориальных признаков

• One-Hot Encoding — преобразование категорий в бинарные признаки
• Label Encoding — замена категорий числовыми метками
• Target Encoding — замена категорий средними значениями целевой переменной

Пример кода для One-Hot Encoding:

# One-Hot Encoding
df_encoded = pd.get_dummies(df, columns=['category_column'])

# Или с помощью scikit-learn
from sklearn.preprocessing import OneHotEncoder
encoder = OneHotEncoder(sparse=False)
encoded_features = encoder.fit_transform(df[['category_column']])

3. Масштабирование признаков — критически важный шаг, так как большинство алгоритмов кластеризации используют метрики расстояния, чувствительные к масштабу.

• StandardScaler — преобразует данные к распределению со средним 0 и стандартным отклонением 1
• MinMaxScaler — масштабирует данные в диапазон [0, 1]
• RobustScaler — устойчив к выбросам, использует медиану и квартили

Пример масштабирования данных:

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# Стандартизация (рекомендуется для большинства алгоритмов)
scaler = StandardScaler()
df_scaled = scaler.fit_transform(df)

# Или нормализация
# scaler = MinMaxScaler()
# df_scaled = scaler.fit_transform(df)

4. Снижение размерности — полезно при работе с высокоразмерными данными, помогает визуализировать результаты и устранить шум.

• PCA (Principal Component Analysis) — линейное преобразование для выделения главных компонент
• t-SNE (t-Distributed Stochastic Neighbor Embedding) — нелинейное снижение размерности, хорошо сохраняет локальную структуру
• UMAP (Uniform Manifold Approximation and Projection) — быстрый алгоритм, хорошо сохраняющий как локальную, так и глобальную структуру

Пример применения PCA:

from sklearn.decomposition import PCA

# Снижение размерности до 2 компонент для визуализации
pca = PCA(n_components=2)
df_pca = pca.fit_transform(df_scaled)

# Визуализация
import matplotlib.pyplot as plt
plt.scatter(df_pca[:, 0], df_pca[:, 1])
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.show()

5. Выбор метрики расстояния — определяет, как будет измеряться сходство между объектами.

• Евклидово расстояние — стандартный выбор для непрерывных признаков
• Манхэттенское расстояние — менее чувствительно к выбросам
• Косинусное сходство — подходит для текстовых данных и высокоразмерных разреженных векторов
• Расстояние Махаланобиса — учитывает корреляции между признаками

Как выполнить кластеризацию в Python и R

Реализация кластерного анализа в современных языках программирования для анализа данных стала доступной и относительно простой. Рассмотрим пошаговые примеры в Python и R. 💻

Кластеризация в Python

Python предлагает богатый арсенал библиотек для кластерного анализа. Наиболее популярна библиотека scikit-learn, которая содержит реализации многих алгоритмов кластеризации.

1. Кластеризация методом K-means в Python:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import silhouette_score

# Загрузка данных
data = pd.read_csv('your_data.csv')
X = data[['feature1', 'feature2']]

# Масштабирование данных
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# Определение оптимального числа кластеров с помощью метода локтя
inertias = []
silhouette_scores = []
k_range = range(2, 11)

for k in k_range:
kmeans = KMeans(n_clusters=k, random_state=42)
kmeans.fit(X_scaled)
inertias.append(kmeans.inertia_)
silhouette_scores.append(silhouette_score(X_scaled, kmeans.labels_))

# Визуализация метода локтя
plt.figure(figsize=(12, 5))
plt.subplot(1, 2, 1)
plt.plot(k_range, inertias, 'bo-')
plt.xlabel('Количество кластеров')
plt.ylabel('Инерция')
plt.title('Метод локтя')

plt.subplot(1, 2, 2)
plt.plot(k_range, silhouette_scores, 'ro-')
plt.xlabel('Количество кластеров')
plt.ylabel('Силуэтный коэффициент')
plt.title('Силуэтный метод')
plt.tight_layout()
plt.show()

# Выбираем оптимальное число кластеров, например, 3
optimal_k = 3
kmeans = KMeans(n_clusters=optimal_k, random_state=42)
clusters = kmeans.fit_predict(X_scaled)

# Добавление меток кластеров к исходным данным
data['cluster'] = clusters

# Визуализация результатов
plt.figure(figsize=(10, 6))
for i in range(optimal_k):
plt.scatter(
data[data['cluster'] == i]['feature1'],
data[data['cluster'] == i]['feature2'],
label=f'Кластер {i}'
)
plt.scatter(
kmeans.cluster_centers_[:, 0] * scaler.scale_[0] + scaler.mean_[0],
kmeans.cluster_centers_[:, 1] * scaler.scale_[1] + scaler.mean_[1],
s=300, c='red', marker='*', label='Центроиды'
)
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('Результаты кластеризации K-means')
plt.legend()
plt.show()

2. Иерархическая кластеризация в Python:

from scipy.cluster.hierarchy import dendrogram, linkage
from sklearn.cluster import AgglomerativeClustering

# Создание дендрограммы
linked = linkage(X_scaled, method='ward')

plt.figure(figsize=(12, 7))
dendrogram(linked, truncate_mode='level', p=5)
plt.title('Дендрограмма иерархической кластеризации')
plt.xlabel('Образцы')
plt.ylabel('Расстояние')
plt.show()

# Выполнение иерархической кластеризации
hierarchical = AgglomerativeClustering(n_clusters=optimal_k, linkage='ward')
hierarchical_clusters = hierarchical.fit_predict(X_scaled)

# Добавление меток кластеров и визуализация
data['hierarchical_cluster'] = hierarchical_clusters

plt.figure(figsize=(10, 6))
for i in range(optimal_k):
plt.scatter(
data[data['hierarchical_cluster'] == i]['feature1'],
data[data['hierarchical_cluster'] == i]['feature2'],
label=f'Кластер {i}'
)
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('Результаты иерархической кластеризации')
plt.legend()
plt.show()

3. DBSCAN в Python:

from sklearn.cluster import DBSCAN
from sklearn.neighbors import NearestNeighbors

# Определение оптимального значения eps с помощью графика k-расстояний
k = 5
neigh = NearestNeighbors(n_neighbors=k)
neigh.fit(X_scaled)
distances, indices = neigh.kneighbors(X_scaled)
distances = np.sort(distances[:, k-1], axis=0)

plt.figure(figsize=(10, 6))
plt.plot(distances)
plt.xlabel('Образцы')
plt.ylabel(f'{k}-ое расстояние до соседа')
plt.title('Определение оптимального eps для DBSCAN')
plt.grid(True)
plt.show()

# Применяем DBSCAN с выбранными параметрами
eps = 0.5 # Выбираем значение на основе графика
min_samples = 5
dbscan = DBSCAN(eps=eps, min_samples=min_samples)
dbscan_clusters = dbscan.fit_predict(X_scaled)

# Добавление меток кластеров и визуализация
data['dbscan_cluster'] = dbscan_clusters

plt.figure(figsize=(10, 6))
# Визуализация выбросов отдельно (-1 – метка выбросов)
plt.scatter(
data[data['dbscan_cluster'] == -1]['feature1'],
data[data['dbscan_cluster'] == -1]['feature2'],
c='black', marker='x', label='Выбросы'
)
# Визуализация кластеров
unique_clusters = np.unique(dbscan_clusters[dbscan_clusters != -1])
for i in unique_clusters:
plt.scatter(
data[data['dbscan_cluster'] == i]['feature1'],
data[data['dbscan_cluster'] == i]['feature2'],
label=f'Кластер {i}'
)
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('Результаты кластеризации DBSCAN')
plt.legend()
plt.show()

Кластеризация в R

R также предоставляет мощные инструменты для кластерного анализа.

1. K-means в R:

# Загрузка библиотек
library(tidyverse)
library(cluster)
library(factoextra)

# Загрузка данных
data <- read.csv("your_data.csv")
X <- data[, c("feature1", "feature2")]

# Масштабирование данных
X_scaled <- scale(X)

# Определение оптимального числа кластеров
fviz_nbclust(X_scaled, kmeans, method = "wss") +
geom_vline(xintercept = 3, linetype = 2) +
labs(title = "Метод локтя")

fviz_nbclust(X_scaled, kmeans, method = "silhouette") +
labs(title = "Силуэтный метод")

# Выполнение k-means кластеризации
set.seed(42)
k <- 3
kmeans_result <- kmeans(X_scaled, centers = k, nstart = 25)

# Визуализация результатов
fviz_cluster(kmeans_result, data = X_scaled,
palette = "jco",
ggtheme = theme_minimal(),
main = "Кластеры K-means")

2. Иерархическая кластеризация в R:

# Вычисление матрицы расстояний
dist_matrix <- dist(X_scaled, method = "euclidean")

# Выполнение иерархической кластеризации
hc_result <- hclust(dist_matrix, method = "ward.D2")

# Визуализация дендрограммы
plot(hc_result, cex = 0.6, hang = -1,
main = "Дендрограмма иерархической кластеризации")
rect.hclust(hc_result, k = 3, border = 2:4)

# Получение кластеров
hierarchical_clusters <- cutree(hc_result, k = 3)

# Визуализация результатов
fviz_cluster(list(data = X_scaled, cluster = hierarchical_clusters),
palette = "jco",
ggtheme = theme_minimal(),
main = "Иерархические кластеры")

3. DBSCAN в R:

# Загрузка библиотеки для DBSCAN
library(dbscan)

# Определение оптимального значения eps
kNNdistplot(X_scaled, k = 5)
abline(h = 0.5, col = "red", lty = 2)

# Применение DBSCAN
dbscan_result <- dbscan(X_scaled, eps = 0.5, minPts = 5)

# Визуализация результатов
fviz_cluster(list(data = X_scaled, cluster = dbscan_result$cluster),
palette = "jco",
ggtheme = theme_minimal(),
main = "Кластеры DBSCAN")

Марина Соколова, руководитель отдела аналитики В нашем стартапе по анализу активности пользователей приложения мы столкнулись с интересной задачей: необходимо было понять, какие группы пользователей существуют и как лучше адаптировать под них функционал. У нас были данные о времени использования, частоте открытия различных разделов и социально-демографические характеристики. Первоначально мы пытались использовать K-means, но результаты были неубедительными — кластеры получались неинтерпретируемыми.

Ключевой момент наступил, когда мы применили DBSCAN. Этот алгоритм обнаружил 4 чётких кластера и группу выбросов. Самым неожиданным оказался кластер "ночных энтузиастов" — людей, активно использующих приложение в ночное время и проводящих в нём в 3 раза больше времени, чем средний пользователь. После внедрения специальной "ночной" темы и адаптированных предложений для этой группы, их конверсия в платящих пользователей выросла на 27%.

Этот опыт показал мне, насколько важно не ограничиваться одним алгоритмом кластеризации и пробовать различные подходы. То, что казалось выбросами или шумом при использовании K-means, оказалось ценным сегментом при применении алгоритма, основанного на плотности.

Интерпретация результатов и применение в реальных проектах

После успешного проведения кластерного анализа наступает, пожалуй, самый важный этап — интерпретация результатов и их практическое применение. Умение извлечь ценные инсайты из выделенных кластеров отличает опытного аналитика данных. 🧠

Валидация результатов кластеризации

Прежде чем интерпретировать кластеры, необходимо оценить качество полученной кластеризации:

• Внутренние метрики — оценивают качество кластеризации, используя только сами данные:
• Силуэтный коэффициент (Silhouette score) — измеряет, насколько объект похож на свой кластер по сравнению с другими кластерами (диапазон от -1 до 1, где высокие значения лучше)
• Индекс Дэвиса-Болдина (Davies-Bouldin index) — соотношение внутрикластерного рассеяния к межкластерному расстоянию (меньшие значения лучше)

• Индекс Калински-Харабаса (Calinski-Harabasz index) — отношение дисперсии между кластерами к дисперсии внутри кластеров (высокие значения лучше)

• Внешние метрики — используются, когда известны истинные метки классов:
• Adjusted Rand Index (ARI) — измеряет сходство между двумя разбиениями
• Normalized Mutual Information (NMI) — оценивает взаимную информацию между истинными и предсказанными метками

Пример оценки качества кластеризации в Python:

from sklearn.metrics import silhouette_score, davies_bouldin_score, calinski_harabasz_score

# Оценка качества кластеризации
print(f"Силуэтный коэффициент: {silhouette_score(X_scaled, clusters):.3f}")
print(f"Индекс Дэвиса-Болдина: {davies_bouldin_score(X_scaled, clusters):.3f}")
print(f"Индекс Калински-Харабаса: {calinski_harabasz_score(X_scaled, clusters):.3f}")

Характеризация и профилирование кластеров

После валидации необходимо охарактеризовать каждый кластер:

1. Анализ центроидов — для алгоритмов, основанных на центроидах, таких как K-means
2. Распределение признаков — анализ средних значений, медиан и других статистик для каждого кластера
3. Визуализация — построение графиков "паук" (radar charts), boxplot-ов или параллельных координат
4. Размер кластеров — анализ количества объектов в каждом кластере

Пример профилирования кластеров:

import matplotlib.pyplot as plt
import seaborn as sns

# Добавляем кластеры к исходным данным
data['cluster'] = clusters

# Анализ размера кластеров
cluster_sizes = data['cluster'].value_counts().sort_index()
print("Размеры кластеров:")
print(cluster_sizes)

# Анализ средних значений признаков по кластерам
cluster_means = data.groupby('cluster').mean()
print("\nСредние значения признаков по кластерам:")
print(cluster_means)

# Визуализация характеристик кластеров
plt.figure(figsize=(12, 8))
sns.heatmap(cluster_means, annot=True, cmap="YlGnBu", fmt=".2f")
plt.title('Средние значения признаков по кластерам')
plt.show()

# Построение boxplot для сравнения распределения признаков по кластерам
plt.figure(figsize=(15, 10))
for i, feature in enumerate(X.columns):
plt.subplot(2, 3, i+1)
sns.boxplot(x='cluster', y=feature, data=data)
plt.title(f'Распределение {feature} по кластерам')
plt.tight_layout()
plt.show()

Практическое применение результатов кластеризации

Реальная ценность кластерного анализа проявляется при его использовании для решения бизнес-задач:

1. Сегментация клиентов для маркетинга

   • Разработка таргетированных маркетинговых кампаний для каждого сегмента
   • Персонализация предложений на основе характеристик кластера
   • Оптимизация стратегий удержания для различных групп клиентов

2. Рекомендательные системы

   • Построение рекомендаций на основе предпочтений схожих пользователей внутри одного кластера
   • Повышение разнообразия рекомендаций с учетом разных кластеров

3. Оптимизация ассортимента

   • Формирование наборов товаров для разных сегментов клиентов
   • Выявление перспективных продуктовых ниш

4. Обнаружение аномалий

   • Идентификация мошеннических операций как выбросов или малых кластеров
   • Мониторинг качества продукции и выявление дефектов

5. Медицинская диагностика

   • Группировка пациентов со схожими симптомами
   • Персонализированная медицина на основе схожих реакций на лечение

Для эффективного внедрения результатов кластеризации в бизнес-процессы рекомендуется:

• Привлекать экспертов предметной области для интерпретации кластеров
• Создавать понятные для бизнес-пользователей визуализации и отчеты
• Разрабатывать четкие стратегии действий для каждого кластера
• Регулярно переобучать модели с учетом новых данных
• Измерять эффект от внедрения стратегий, основанных на кластеризации

Пример реализации стратегии для обнаруженных сегментов клиентов:

Кластерный анализ — не просто статистический метод, а мощный инструмент извлечения скрытых закономерностей из данных. Овладев различными алгоритмами кластеризации, научившись правильно готовить данные и грамотно интерпретировать результаты, вы получаете возможность трансформировать неструктурированную информацию в стратегические бизнес-решения. Помните: идеального алгоритма кластеризации не существует — выбор метода всегда зависит от специфики задачи, характеристик данных и конечных целей анализа. Экспериментируйте с различными подходами, сочетайте методы и всегда проверяйте результаты на реальных бизнес-метриках.

Читайте также

• Карточка проекта в аналитике данных: структура и шаблоны
• Регрессионный анализ: от линейных моделей к предсказаниям
• Google Ngram Viewer: анализ культурных трендов в текстах разных эпох
• Аналитика данных в науке: как Big Data меняет исследования
• Методы анализа данных: от статистики до машинного обучения
• Продуктовая аналитика: роль и обязанности
• TF-IDF алгоритм: как математически повысить релевантность текста
• Блокчейн и аналитика данных: революция в обработке информации
• Топ-20 источников открытых данных для аналитика: ресурсы мирового уровня
• 10 успешных кейсов аналитики данных: от роста продаж до прибыли