Импорт данных из MySQL в Pandas с сохранением названий столбцов

Быстрый ответ

Импорт данных из базы MySQL в DataFrame Pandas с учетом имен колонок можно выполнить при помощи функции pandas.read_sql_query():

import pandas as pd
import sqlalchemy

# Создаем движок SQLAlchemy.
engine = sqlalchemy.create_engine('mysql+pymysql://username:password@host/db_name')

# SQL-запрос
sql = "SELECT * FROM table_name;" # Выбираем все данные

# Импортируем данные в DataFrame
df = pd.read_sql_query(sql, engine)

Замените username, password, host, db_name и table_name на соответствующие ваши данные. В результате переменная df будет содержать DataFrame с полным набором колонок из выбранной таблицы.

Строка подключения

Для создания подключения используется SQLAlchemy. Строка подключения объединяет информацию об аутентификации и расположении базы данных:

'mysql+pymysql://username:password@host/db_name'

Вставьте свои данные в формат DBMS+pymysql://username:password@host/db_name. Для пользователей SQLite: замените mysql+pymysql на sqlite:///.

Эффективное извлечение больших объемов данных

Если вам предстоит работа с большими наборами данных, примените условия WHERE, чтобы извлекать только нужные колонки или записи. Для оптимизации загрузки используйте параметр chunksize в функции read_sql_query:

# Получение данных по частям
for chunk in pd.read_sql_query(sql, engine, chunksize=1000):
    process(chunk)  # Ваша функция обработки данных должна быть здесь.

Обработка ошибок и определение типов данных

Будьте к возможным ошибкам в подключении к базе данных и запросах. Для того чтобы помочь Pandas корректно идентифицировать типы данных, можно переопределить их:

df = pd.read_sql_query(sql, engine, dtype={'column_name': 'datatype'})

В dtype укажите название столбца вместо 'column_name' и нужный тип данных Pandas, например np.float64, str и т.д.

Визуализация

Таким образом, мы переносим данные MySQL в безопасное хранилище Pandas (DataFrame):

База данных MySQL (🗃️): [Col_Name1, Col_Name2, Col_Name3]

Через pandas.read_sql_query() данные переходят в:

df = pandas.read_sql_query(SQL_QUERY, connection)

И затем помещаются в DataFrame Pandas (🐼):

DataFrame Pandas (📊): [Col_Name1, Col_Name2, Col_Name3]
# Имена колонок включены в DataFrame, и все они обретут долгую и счастливую жизнь!

Таким образом, данные со всеми именами колонок успешно устанавливаются в DataFrame.

Продвинутые приемы

Если вы уже освоили основы, давайте перейдем к более сложным техникам.

ORM SQLAlchemy для сложных запросов

Для реализации сложных запросов с использованием классов Python, которые ассоциированы с моделями базы данных, применяйте ORM SQLAlchemy.

from sqlalchemy import Column, Integer
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

Base = declarative_base()

# Определение модели
class MyTable(Base):
    __tablename__ = 'my_table'
    id = Column(Integer, primary_key=True)
    # и другие колонки

Session = sessionmaker(bind=engine)
session = Session()

# Запросы выполняются через ORM
query = session.query(MyTable)
df = pd.read_sql(query.statement, query.session.bind)

Подробнее об этом расскажет наш спикер на видео

Параметризованные запросы

Для вставки переменных в SQL-запросы применяйте параметризованные запросы:

params = {"limit_rows": 10}
sql = "SELECT * FROM table_name LIMIT :limit_rows;"
df = pd.read_sql_query(sql, engine, params=params)

Такой подход не только позволяет избежать SQL-инъекций, но и повышает величину полезной нагрузки, упрощая работу с заполнением запросов данными.

Обработка данных временных рядов

При работе с данными временных рядов, Pandas станет вашим незаменимым помощником:

# Предположим, 'my_date_column' это ваш временной столбец.
df['my_date_column'] = pd.to_datetime(df['my_date_column'])
df.set_index('my_date_column', inplace=True)

Полезные материалы

1. pandas.read_sql — документация pandas 2.2.0 — Официальная документация Pandas по функции read_sql.
2. MySQL :: Руководство разработчика Connector/Python для MySQL — Подробное руководство по MySQL Python Connector.
3. SQLAlchemy – Инструменты для работы с базами данных на Python — Официальный сайт SQLAlchemy, комплект инструментов для работы с базами данных на Python.
4. Python и база данных MySQL: Практическое введение – Real Python — Подробное руководство по использованию Python в связке с MySQL.
5. Project Jupyter | Главная страница — Главная страница Проекта Jupyter, упрощающего анализ данных с помощью Pandas.