Вывод полного HTTP-запроса в Python с помощью requests

Если нужно изучить содержимое HTTP-запроса, отправленного с помощью библиотеки requests, вы можете включить отладку, используя http.client. Для этого выполните следующий код:

import http.client
import requests

# Включаем логирование HTTP-запросов
http.client.HTTPConnection.debuglevel = 1

# Теперь вы можете увидеть детали запроса GET
response = requests.get('https://www.example.com')

Такой подход позволяет включить детальное логирование запросов и узнать всю информацию о заголовках и содержимом запроса.

Встречайте PreparedRequest: знаток протоколов

Для более детального исследования объекта PreparedRequest и понимания, какие именно байты отправляются на сервер, можно использовать следующий способ:

import requests
from requests_toolbelt.utils import dump

# Создаем запрос, но пока не отправляем его
req = requests.Request('POST', 'https://api.example.com/data', 
                       data={'key': 'value'}, headers={'Accept': 'application/json'})
prepared = req.prepare()

# Теперь вы можете увидеть подробности объекта PreparedRequest
data = dump.dump_all(prepared)
print(data.decode('utf-8'))

Библиотека requests_toolbelt предлагает удобный инструмент для изучения информации о PreparedRequest, что позволяет точно понять, что вы отправляете в сеть.

Ваш надежный партнер: работа с сессиями

Использование сессий привносит изменения в процесс формирования и отправки запросов:

with requests.Session() as session:
    prepared = session.prepare_request(requests.Request('GET', 'https://www.example.com'))
    response = session.send(prepared)

    # Взглянем на данные объекта запроса и его ответ
    print(response.request.url, response.request.headers, response.request.body)

Объект Session выполняет роль и отправителя, и получателя запроса, что позволяет осветить каждую стадию его обработки, включая полученный ответ.

Визуализация

Представьте HTTP-запрос как стильную посылку 📦, отправляющуюся в путешествие по цифровым дорогам:

1. **URL** — это адресат: 🌍 `https://api.example.com/data`
2. **МЕТОД** — способ доставки: 🚚 `POST`
3. **ЗАГОЛОВКИ** — инструкции перевозчику: 🚦 `Content-Type: application/json`
4. **ТЕЛО** — содержимое посылки: 📦 `{ "key": "value" }`

Перед отправкой нужно убедиться, что ваша посылка в идеальном состоянии:

requests.Request('POST', url, headers=headers, data=json.dumps(payload)).prepare()

Не забудьте следить за статусом отправки:

📦🚚: Совет дня! Никогда не упаковывайте носки вместе с зубной пастой!

Monkey Patching: Глубокое погружение

Вы можете проникнуть в суть HTTP-взаимодействия, воспользовавшись http.client:

import http.client

def print_raw_request(self):
    print(self._buffer)  # Пусть тайны станут явными. Тишина...

# Monkey patching — делайте это осторожно и на свой страх и риск
http.client.HTTPConnection._send_output = print_raw_request

# Теперь даже простой запрос выглядит совершенно неожиданно
response = requests.get('https://www.example.com')

Использование Monkey patching для метода _send_output класса http.client.HTTPConnection откроет перед вами суть необработанного HTTP-запроса.

Идем в наступление с крупной артиллерией: httplib и urllib3

Для экспертов иногда необходимо использовать urllib3, основную управляющую силу за requests:

import urllib3

http = urllib3.PoolManager()
r = http.request('GET', 'http://httpbin.org/robots.txt')

# Испытайте ощущение работы на низком уровне
print(r.data)  # Будьте осторожны, с такой мощью нужно уметь обращаться!

Такой подход позволяет погрузиться в изначальное состояние работы с запросами.

Полезные материалы

1. Requests: HTTP for Humans™—Документация библиотеки Requests 2.31.0 — незаменимые знания прямо от создателей библиотеки requests.
2. Руководство по библиотеке Requests для Python – Real Python — ваш путеводитель в мире Python requests.
3. httpbin.org — ваша персональная площадка для тестирования HTTP-запросов.
4. HTTP сообщения – HTTP | MDN — подробнейшая информация о сообщениях HTTP.
5. logging — Функции логирования для Python — Документация Python 3.12.2 — руководство по функциям логирования в Python.
6. Postman API Platform — мощный инструмент для тестирования API и изучения HTTP-запросов.