Работа с условием больше для дат в Amazon Athena

Быстрый ответ

Для извлечения данных за период, начинающийся с определённой даты в Athena, вы можете применить следующий запрос:

SELECT * 
FROM your_table
WHERE date_column > '2023-01-01';

Убедитесь, что столбец date_column имеет тип данных DATE или TIMESTAMP. Тогда запрос вернёт строки, в которых события произошли после указанной даты. Вместо '2023-01-01' подставьте интересующую вас дату.

Работа с типом VARCHAR

Если столбец содержит даты в формате VARCHAR, их следует преобразовать в тип данных DATE используя CAST(date_column AS DATE). Это избавит от сложностей при сравнении строк с датами. Проверьте корректность сравнений, тестируя запросы с различными форматами дат.

SELECT * 
FROM your_table
WHERE CAST(date_column AS date) > '2023-01-01';

Подсчёт данных по датам

В аналитической работе часто требуется подсчитать количество записей по датам. В этом случае используйте COUNT(*) вместе с GROUP BY. Athena выполнит нужные расчеты, позволяя вам делать более приятные вещи, например, побаловать себя пончиком 🍩.

SELECT observation_date, COUNT(*)
FROM your_table
WHERE date_column > '2023-01-01'
GROUP BY observation_date;

Визуализация

Для наглядности представим, как работает Athena при фильтрации данных по времени. Представьте таблицу как календарь, где каждая строка представляет собой дату:

Календарь (📅): [1 янв., 2 янв., 3 янв., ..., 30 дек., 31 дек.]
Запрос: Дата > '10 янв.'

Условие фильтрации по датам «после 10 января» трансформирует записи следующим образом:

До:      📅 [🗓️🔴, 🗓️🔴, 🗓️🟡, ..., 🗓️🟢, 🗓️🟢]
После:   📅 [........, ........, 🗓️🟡, ..., 🗓️🟢, 🗓️🟢]

Легенда:

Таким образом, все даты до 11 января исключаются из результатов запроса, оставляя только 11 января и все последующие даты.

Подробнее об этом расскажет наш спикер на видео

Осторожно при работе с TIMESTAMP

При сравнении типов данных TIMESTAMP и DATE следует проявлять особую обдуманность. Раз тип данных TIMESTAMP подразумевает наличие времени, сравнение с типом данных DATE, где времени нет, может привести к нежелательным результатам.

-- "Без учёта времени, как у Золушки в полночь 💃🏼✨."
SELECT * 
FROM your_table
WHERE timestamp_column > DATE '2023-01-01 00:00:00';

Работа с датами в формате ISO-8601

Если ваша дата представлена в универсальном формате ISO-8601, воспользуйтесь функцией parse_datetime. Она легко преобразует строку в формат даты, с которым вы работаете.

-- "Переведите, пожалуйста, в ISO."
SELECT *
FROM your_table
WHERE date_column > parse_datetime('2023-01-01', 'yyyy-MM-dd');

Полезные материалы

1. Amazon Athena — Официальная документация по Athena, удобно разделённая на разноцветные разделы.
2. Новые вопросы 'amazon-athena+date' на Stack Overflow — Форум, где обсуждаются вопросы, связанные с запросами к датам в Athena.
3. Топ 10 советов по оптимизации производительности для Amazon Athena | AWS Big Data Blog — Советы по улучшению работы с Athena для обработки ваших "больших данных".
4. Типы данных в Amazon Athena – Amazon Athena — Справочник по типам данных в Athena.
5. Функции дат – SQL Server и MySQL — Обзор работы с датами в SQL.
6. Анализ данных в S3 с помощью Amazon Athena | AWS Big Data Blog — Руководство для тех, кто хочет углубиться в работу с разделами данных в Athena.