Работа find_each с limit и order в ActiveRecord Ruby

Быстрый ответ

Для использования limit и особого порядка order в сочетании с find_each, следует объединить where, reorder и limit следующим образом:

Model.where('created_at > ?', 2.days.ago).reorder('created_at DESC').limit(1000).find_each do |item|
  # здесь происходит магия
  # помните, что Рим строили не за один день, но эту запись мы получили мгновенно
end

Примечание: По умолчанию find_each сортирует записи по первичному ключу. Воспользуйтесь reorder, чтобы изменить это упорядочение в рамках limit. Удобно, правда? Важно понимать, что порядок за пределами указанного limit не гарантирован.

Визуализация: Ваша рабочая последовательность в пределах лимита

📚📚📚📚📚📚    📚📚📚📚📚📚
 Полка 1 – Лимит      Полка 2 – Лимит 
[ 1 | 2 | 3 ]  ➡️   [ 4 | 5 | 6 ]

Стараемся выбрать лучшие книги, которые находятся в конце каждой полки (вот это и есть order):

📚📚🌟🌟🌟🌟    📚📚🌟🌟🌟🌟
 Лучшие книги в конце полки 
[ 3 | 4 | 5 | 6 ]  ➡️   [ 7 | 8 | 9 | 10 ]

Что мы подразумеваем под этим?

• find_each = Работаем с каждой полкой по отдельности
• limit = На сегодня запланировано прочесть только две полки (внушительно!)
• order = Хотим начать с самых лучших книг

Основы эффективного запроса: блочная обработка, сортировка и ограничение

Новости Rails 6.1

В Rails 6.1 функционал find_each был дополнен возможностью обратной сортировки. Используйте её, если у вас Rails версии 6.1 или новее.

Подробнее об этом расскажет наш спикер на видео

Когда порядок имеет значение – создавайте блочную обработку самостоятельно

Для более ранних версий Rails или для сложной сортировки создайте собственный метод блочной обработки. В нём необходимо использовать кеширование ID методом pluck для обработки групп в исходном порядке. Храните эти ID в памяти.

Аккуратное использование миксинов

Будьте внимательны при изменении объектов ActiveRecord в процессе блочных операций. Для избежания проблем сохранивайте порядок сортировки.

Предотвращение дубликатов

Сортируете записи по столбцу с неуникальными значениями? Возможно появление дублирующихся записей. Разработайте стратегию, чтобы избегать создания дубликатов в своих методах.

Запрос: блочная обработка с определённым порядком и ограничением

Воспользоваться кэшированием ID: быстрый подход

При работе с большим объёмом данных рекомендуется использовать кэширование ID, ведь это позволяет обрабатывать записи группами, что обеспечивает быструю работу запросов и рациональное использование памяти.

Использование функции FIELD() для пользователей MySQL

Если вы используете MySQL, обратите внимание на функцию FIELD(), позволяющую сохранить порядок сортировки. Сочетайте это с кэшированием ID, чтобы ускорить выполнение запросов.

Фрукты интеллектуального подхода

Примените pluck для быстрого получения конкретных атрибутов из базы данных. Это поможет снизить нагрузку на память и ускорит обработку данных.

Бережное обращение с памятью

Используйте yield в вашем цикле, чтобы обрабатывать стриктно определённое количество записей. Организуйте правильную сортировку и проверьте, чтоб цикл корректно завершался при достижении limit.

Искусство эффективных запросов и управления памятью

Рациональное использование данных

Всегда обдумывайте применение order и offset в циклических запросах для контроля над порядком обрабатываемых записей. Это как управление своим личным конвейером.

Размышления о памяти: стоимость кэширования

Хотя кэширование всех ID ускорит процесс, оно потребует больше памяти. Перед принятием решения внимательно взвесьте все компромиссы.

Работаете с большим объемом данных? Разделяйте и властвуйте

Если вы работаете с большим объемом данных, разделите ваш запрос на удобно управляемые пакеты для обработки. Это позволит сохранить определённый порядок и эффективно использовать память.

Полезные материалы

1. Интерфейс запросов Active Record в Ruby on Rails Guides — Гид по миру запросов ActiveRecord в Rails.
2. find_each в ActiveRecord::Batches на APIdock — Детали работы с find_each.
3. ActiveRecord::Base#find(array) должен возвращать записи в том же порядке, что и исходный массив — обсуждение на GitHub — Обсуждение порядка возвращаемых записей в ActiveRecord.
4. ActiveRecord::Batches — Официальная документация Rails API по работе с блоками данных.
5. Метод: ActiveRecord::Batches#find_each — Документация для activerecord (версия 7.1.3) — Подробное рассмотрение 'find_each'.
6. PostgreSQL: Документация: 16: 7.6. LIMIT и OFFSET — Интересные факты о LIMIT и ORDER в SQL — Информация по использованию LIMIT и ORDER в запросах SQL.