Поиск элементов по нескольким классам в BeautifulSoup4

Быстрый ответ

Методы BeautifulSoup findAll() и select() позволяют осуществлять поиск элементов по заданным классам:

soup.findAll("tag", class_=["class1", "class2"])  # Поиск элемента “tag” классом "class1" или "class2"
soup.select(".class1.class2")                     # Поиск элементов, одновременно классов "class1" и "class2"

Примечание: В findAll() подстановочный термин "tag" замените на интересующий тег, а "class1", "class2" – на требуемые классы. Метод select() вернёт элементы, содержащие оба класса.

import re
soup.findAll("tag", {"class": re.compile("class1|class2")})  # Поиск элемента “tag” классом "class1" или "class2" с помощью регулярных выражений

Регулярное выражение re.compile("class1|class2") поможет найти элементы, которые содержат class1 или class2.

Понимание принципов работы findAll()

В процессе веб-скрапинга часто требуется фильтр элементов по нескольким классам. BeautifulSoup предлагает разные подходы к решению данной задачи, соответствующие логикам ИЛИ (OR) и И (AND).

Поиск элементов по одному из классов (логика ИЛИ)

Для поиска элементов, совпадающих с любым из указанных классов, применяется findAll():

elements = soup.findAll("tag", class_=["class1", "class2"])  # Поиск элемента “tag” классом "class1" или "class2"

Подробнее об этом расскажет наш спикер на видео

Поиск элементов по всем классам (логика И)

Для поиска тегов, которые содержат все перечисленные классы, используется метод select():

elements = soup.select(".class1.class2")  # Поиск элемента “tag” классами "class1" и "class2"

Применение регулярных выражений для сложных запросов

Регулярные выражения пригодятся для формирования более сложных условий поиска:

elements = soup.findAll("tag", {"class": re.compile("^class1.*class2$")})  # Более сложный запрос с помощью регулярных выражений

Паттерн ^class1.*class2$ поможет найти классы, которые начинаются с class1 и заканчиваются class2.

Сохранение порядка элементов во время парсинга

BeautifulSoup умеет сохранять последовательность элементов в том порядке, в котором они представлены в исходном HTML, что критично важно для корректного понимания и сохранения данных.

Обработка реальных случаев

Учёт порядка при использовании findAll()

Используйте findAll() с указанием списка классов, чтобы сохранить порядок элементов. Это особенно актуально при работе с таблицами, где важно не нарушить исходную структуру.

Применение сессий для сохранения состояния при процедуре скрапинга

На сайтах с сессиями создавайте сессионные запросы с помощью библиотеки requests, что гарантирует устойчивое сопряжение между запросами:

import requests
from bs4 import BeautifulSoup

session = requests.Session()
response = session.get('https://example.com')
soup = BeautifulSoup(response.content, 'html.parser')

# Теперь с помощью soup.findAll можно изучить страницы, сохраняя контекст

Работа со сложноструктурированными и динамическими классами

Для решения задач, связанных с динамическими классами, применяйте модуль re Python:

import re
dynamic_elements = soup.findAll("tag", {"class": re.compile("^class1.*class2$")})  # Использование регулярных выражений

Визуализация

Давайте рассмотрим аналогию: представьте себя флористом, выбирающим разные сорта цветов (🌸, 🌺, 🌼) в зависимости от их категорий (findAll()):

Изысканные перчатки (findAll()): [🌸, 🌺, 🌼]
Категории цветов (Классы): 🌸(Роза), 🌺(Тюльпан), 🌼(Ромашка)

Флорист может выбирать разные категории одновременно:

florist_gloves.findAll(class_=["Rose", "Tulip"])

В руках флориста оказываются:

👐🌸🌺: [🌸(Розы), 🌺(Тюльпаны)]

Действуя по аналогии с флористом, мы выбираем элементы нашего HTML-сада, применяя findAll().

Тщательный анализ данных

Для более точного вычленения информации из определённого вложенного класса пройдите по элементам в цикле, уточняя запрос:

for parent in soup.find_all("div", class_="parent-class"):
    children = parent.find_all("span", class_="child-class")
    # Таким образом, будут найдены все теги span с классом "child-class", которые расположены в дивах с классом "parent-class".

Селекторы CSS

Если требуется максимальная точность и контроль над поиском, select() в BeautifulSoup предоставляет возможность работы с селекторами CSS:

articles = soup.select("div.content > p.story.story-highlight")
# Здесь осуществляется поиск каждого элемента <p> с классами "story" и "story-highlight", являющегося прямым потомком <div> с классом "content".

Полезные материалы