Импорт CSV в SQL Server: BULK INSERT и обработка данных

Быстрый ответ

Для эффективного импорта данных из CSV в SQL Server рекомендуется использовать BULK INSERT:

BULK INSERT ВашаТаблица
FROM 'ваш_файл.csv'
WITH (FORMAT = 'CSV', FIRSTROW = 2);

Имена ВашаТаблица и ваш_файл.csv следует заменить на реальные значения. Через FORMAT = 'CSV' обрабатываются особенности CSV-формата, а FIRSTROW = 2 позволяет пропустить строки с заголовками.

Альтернатива для особых случаев импорта CSV из Excel:

BULK INSERT ВашаТаблица
FROM 'ваш_файл.csv'
WITH (
    FIELDTERMINATOR = '||',
    ROWTERMINATOR = '\n',
    FIELDQUOTE = '"',
    ERRORFILE ='error_rows.csv'
);

Особенности CSV и нюансы BULK INSERT

Рассмотрим детали импортирования CSV в SQL Server:

Двойные кавычки и запятые в данных

Разделитель || используется для обхода запятых в данных:

WITH (FIELDTERMINATOR = '||')

После полного импорта удаляются нежелательные двойные кавычки.

Подробнее об этом расскажет наш спикер на видео

Ошибки в ходе импорта

Обнаружение ошибок становится возможным с помощью ERRORFILE, копирующего некорректные строки в отдельный файл:

WITH (ERRORFILE = 'csv_bad_data.log')

Соответствие структуры CSV и таблице SQL

Не забывайте о необходимости совпадения структуры CSV-файла и SQL-таблицы. Чтобы пропустить заголовки, используйте FIRSTROW = 2.

Увеличение скорости импорта

Функция TABLOCK позволит ускорить процесс благодаря блокировке таблицы:

WITH (TABLOCK)

Отображение данных в SQL Server

В самом простом виде процесс импортирования CSV в SQL Server можно представить как размещение книг в библиотеке:

📚 -> База данных SQL
📘 -> Таблица SQL
🖼️ -> Строка CSV

Каждой строке CSV соответствует строго определённое место в SQL Server таблице.

Импорт больших объемов данных: Управление сложностями

Работа с большим объемом данных требует использования Мастера импорта SSMS или SQL Server Integration Services (SSIS).

Мастер импорта SQL Server Management Studio

Мастер обеспечивает удобный визуальный интерфейс и шаг за шагом направляет вас в процессе импорта.

SQL Server Integration Services (SSIS)

В случае масштабных задач можно использовать SSIS, обеспечивающий пакетную обработку и трансформацию данных.

Безопасность: Доступные аккаунты

Перед началом импорта уточните, используются ли корректные учётные записи для доступа к SQL Server.

После импорта: Основательная чистка

После импортирования из Excel может возникнуть необходимость удалить лишние кавычки:

UPDATE ВашаТаблица
SET ВашаКолонка = REPLACE(ВашаКолонка, '"', '')

Борьба с различными локализациями: запятые и точки

Оставайтесь внимательными к региональным параметрам: в случае списка разделителей в Windows и формата сохранения CSV-файлов могут потребоваться корректировки.

Подготовка к импорту: Проверьте все важные моменты заранее

Прежде чем приступить к импорту данных, проведите серию проверок, включая совместимость типов данных, предварительный просмотр CSV и тестовую загрузку.

Завершение

Поддержание целостности данных, качественная работа с содержимым файла CSV и настройка процесса импорта под конкретные задачи – три ключевых условия успеха.

Полезные материалы

1. Официальная документация по BULK INSERT в SQL Server.
2. Использование утилиты BCP для целей импорта и экспорта.
3. Руководство по использованию Мастера импорта в SQL Server Management Studio.
4. Работа с внешними данными при помощи OpenRowSet.
5. Гайд по SQL Server Integration Services для работы с ETL-процессами.