URL-кодирование в Python: безопасная обработка специальных символов

from urllib.parse import quote

# Кодируем строку с пробелами и специальными символами
encoded_str = quote("Python & URL Encoding: A Guide")
print(encoded_str) # Выведет: Python%20%26%20URL%20Encoding%3A%20A%20Guide

from urllib.parse import urlencode

# Кодируем словарь с параметрами
params = {
"search": "Python программирование",
"category": "tutorials",
"tags[]": ["beginner", "url-encoding"]
}
encoded_params = urlencode(params, doseq=True)
print(encoded_params)
# Выведет: search=Python+%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5&category=tutorials&tags%5B%5D=beginner&tags%5B%5D=url-encoding

import requests
from urllib.parse import urlencode

base_url = "https://api.example.com/search"
params = {
"q": "Python URL кодирование",
"lang": "ru"
}

# Вариант 1: Передаем параметры напрямую (requests сам выполнит кодирование)
response = requests.get(base_url, params=params)

# Вариант 2: Кодируем вручную и формируем полный URL
encoded_params = urlencode(params)
full_url = f"{base_url}?{encoded_params}"
response = requests.get(full_url)

print(response.url)

from urllib.parse import urlparse

url = "https://www.example.com:8080/path/to/page?query=term&lang=ru#section"
parsed_url = urlparse(url)

print(parsed_url.scheme) # https
print(parsed_url.netloc) # www.example.com:8080
print(parsed_url.path) # /path/to/page
print(parsed_url.query) # query=term&lang=ru
print(parsed_url.fragment) # section

from urllib.parse import urlunparse

components = (
'https', # scheme
'www.example.com:8080', # netloc
'/search', # path
'', # params (редко используется)
'q=python&lang=ru', # query
'results' # fragment
)

url = urlunparse(components)
print(url) # https://www.example.com:8080/search?q=python&lang=ru#results

from urllib.parse import parse_qs, parse_qsl, urlencode

# Строка с параметрами запроса
query_string = "sort=date&order=desc&page=1&per_page=10"

# Разбор в словарь
params_dict = parse_qs(query_string)
print(params_dict) # {'sort': ['date'], 'order': ['desc'], 'page': ['1'], 'per_page': ['10']}

# Разбор в список пар ключ-значение
params_list = parse_qsl(query_string)
print(params_list) # [('sort', 'date'), ('order', 'desc'), ('page', '1'), ('per_page', '10')]

# Модификация параметров и повторное кодирование
params_dict['page'] = ['2']
params_dict['highlight'] = ['true']
new_query = urlencode(params_dict, doseq=True)
print(new_query) # sort=date&order=desc&page=2&per_page=10&highlight=true

from urllib.parse import urljoin

base_url = "https://docs.python.org/3/"
relative_path = "library/urllib.parse.html"

full_url = urljoin(base_url, relative_path)
print(full_url) # https://docs.python.org/3/library/urllib.parse.html

# Работает даже с неполными относительными путями
print(urljoin(base_url, "../index.html")) # https://docs.python.org/index.html
print(urljoin(base_url, "//pypi.org/project/requests/")) # https://pypi.org/project/requests/

from urllib.parse import quote, quote_plus

# Стандартное кодирование
text = "Python & Django: Framework для веб-разработки"
print(quote(text)) 
# Python%20%26%20Django%3A%20Framework%20%D0%B4%D0%BB%D1%8F%20%D0%B2%D0%B5%D0%B1-%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8

# Кодирование с заменой пробелов на плюсы (для application/x-www-form-urlencoded)
print(quote_plus(text)) 
# Python+%26+Django%3A+Framework+%D0%B4%D0%BB%D1%8F+%D0%B2%D0%B5%D0%B1-%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8

# Выборочное кодирование (пропускаем косую черту)
print(quote("/path/to/resource", safe="/")) # /path/to/resource

from urllib.parse import quote, quote_plus

# Поисковый запрос с различными специальными символами
search_query = 'python "генераторы" & декораторы + lambda функции (примеры)'

# Обычное кодирование (пробелы -> %20)
standard_encoded = quote(search_query)
print(standard_encoded)
# python%20%22%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80%D1%8B%22%20%26%20%D0%B4%D0%B5%D0%BA%D0%BE%D1%80%D0%B0%D1%82%D0%BE%D1%80%D1%8B%20%2B%20lambda%20%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%B8%20%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%D1%8B%29

# Кодирование для формы (пробелы -> +)
form_encoded = quote_plus(search_query)
print(form_encoded)
# python+%22%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80%D1%8B%22+%26+%D0%B4%D0%B5%D0%BA%D0%BE%D1%80%D0%B0%D1%82%D0%BE%D1%80%D1%8B+%2B+lambda+%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%B8+%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%D1%8B%29

from urllib.parse import quote

# URL-путь с специальными символами
path = '/files/reports/2023/Q1 Results (draft).pdf'

# Кодирование пути с сохранением структуры (безопасны: /)
encoded_path = quote(path, safe='/')
print(encoded_path)
# /files/reports/2023/Q1%20Results%20%28draft%29.pdf

# Полный URL с закодированным путем
base_url = 'https://example.com'
full_url = f"{base_url}{encoded_path}"
print(full_url)
# https://example.com/files/reports/2023/Q1%20Results%20%28draft%29.pdf

from urllib.parse import quote, unquote

# Путь с кириллицей и специальными символами
multilingual_path = '/документы/статьи/Программирование на Python [базовый курс].pdf'

# Кодирование с сохранением структуры пути
encoded_multilingual = quote(multilingual_path, safe='/')
print(encoded_multilingual)
# /%D0%B4%D0%BE%D0%BA%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D1%81%D1%82%D0%B0%D1%82%D1%8C%D0%B8/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D0%BD%D0%B0%20Python%20%5B%D0%B1%D0%B0%D0%B7%D0%BE%D0%B2%D1%8B%D0%B9%20%D0%BA%D1%83%D1%80%D1%81%5D.pdf

# Декодирование обратно
decoded = unquote(encoded_multilingual)
print(decoded == multilingual_path) # True

from urllib.parse import urlencode, quote_plus

# Базовый URL
base_url = 'https://api.example.com/search'

# Параметры запроса с разными типами значений
params = {
'q': 'Python & Django', # специальные символы
'langs': ['ru', 'en'], # список
'tags[]': ['программирование', 'веб'], # массив для API
'date_range': '01.01.2023 – 31.12.2023', # дата с пробелами
'advanced': 'файлы > 5MB & формат = "PDF"' # сложные условия
}

# Кодирование всех параметров, правильно обрабатывая списки
encoded_params = urlencode(params, doseq=True, quote_via=quote_plus)
print(encoded_params)
# q=Python+%26+Django&langs=ru&langs=en&tags%5B%5D=%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5&tags%5B%5D=%D0%B2%D0%B5%D0%B1&date_range=01.01.2023+-+31.12.2023&advanced=%D1%84%D0%B0%D0%B9%D0%BB%D1%8B+%3E+5MB+%26+%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82+%3D+%22PDF%22

# Формирование полного URL
full_url = f"{base_url}?{encoded_params}"
print(full_url)
# https://api.example.com/search?q=Python+%26+Django&langs=ru&langs=en&tags%5B%5D=%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5&tags%5B%5D=%D0%B2%D0%B5%D0%B1&date_range=01.01.2023+-+31.12.2023&advanced=%D1%84%D0%B0%D0%B9%D0%BB%D1%8B+%3E+5MB+%26+%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82+%3D+%22PDF%22

from urllib.parse import quote, unquote

original = "search term with spaces"
encoded = quote(original)
print(encoded) # search%20term%20with%20spaces

# Ошибка! Двойное кодирование
double_encoded = quote(encoded)
print(double_encoded) # search%2520term%2520with%2520spaces

# Решение: проверка перед кодированием
def safe_quote(text):
try:
# Попытка декодировать строку
decoded = unquote(text)
# Если после декодирования строка изменилась, значит, была закодирована
if decoded != text:
return quote(decoded) # Кодируем декодированную строку
else:
return quote(text) # Кодируем исходную строку
except:
return quote(text) # В случае ошибки просто кодируем

from urllib.parse import quote, unquote

# Строка с кириллицей
cyrillic_text = "Программирование на Python"

# Правильное кодирование с явным указанием UTF-8
correct_encoded = quote(cyrillic_text, encoding='utf-8')
print(correct_encoded)
# %D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D0%BD%D0%B0%20Python

# Декодирование с той же кодировкой
decoded = unquote(correct_encoded, encoding='utf-8')
print(decoded) # Программирование на Python
print(decoded == cyrillic_text) # True

# Неправильное декодирование с другой кодировкой
wrong_decoded = unquote(correct_encoded, encoding='latin-1')
print(wrong_decoded) # пÑогÑаммиÑование на Python
print(wrong_decoded == cyrillic_text) # False

from urllib.parse import quote, quote_plus, unquote, unquote_plus

text = "search term with spaces"

# Два разных способа кодирования пробелов
standard_encoded = quote(text)
plus_encoded = quote_plus(text)

print(standard_encoded) # search%20term%20with%20spaces
print(plus_encoded) # search+term+with+spaces

# Правильное и неправильное декодирование
print(unquote(standard_encoded)) # search term with spaces (правильно)
print(unquote(plus_encoded)) # search+term+with+spaces (неправильно – плюсы остались!)
print(unquote_plus(plus_encoded)) # search term with spaces (правильно)

# Решение: использовать согласованные функции кодирования/декодирования
# Для форм: quote_plus() + unquote_plus()
# Для URL-путей: quote() + unquote()

from urllib.parse import urlencode

# Сложная структура данных
complex_params = {
'filters': {
'category': 'python',
'tags': ['web', 'api']
},
'sort': 'date',
'page': 1
}

# Прямое кодирование приведет к ошибке
try:
encoded = urlencode(complex_params)
except TypeError as e:
print(f"Ошибка: {e}") # Ошибка: не можем преобразовать словарь в строку

# Решение: предварительная сериализация сложных структур
import json

# Вариант 1: JSON-сериализация сложных значений
flat_params = {}
for key, value in complex_params.items():
if isinstance(value, (dict, list)):
flat_params[key] = json.dumps(value)
else:
flat_params[key] = value

encoded = urlencode(flat_params)
print(encoded)
# filters=%7B%22category%22%3A+%22python%22%2C+%22tags%22%3A+%5B%22web%22%2C+%22api%22%5D%7D&sort=date&page=1

# Вариант 2: Плоская структура с нотацией массивов и объектов
flat_params_2 = {
'filters[category]': 'python',
'filters[tags][]': ['web', 'api'],
'sort': 'date',
'page': 1
}

encoded_2 = urlencode(flat_params_2, doseq=True)
print(encoded_2)
# filters%5Bcategory%5D=python&filters%5Btags%5D%5B%5D=web&filters%5Btags%5D%5B%5D=api&sort=date&page=1

from urllib.parse import urlencode

# Создаем очень длинный набор параметров
long_params = {f'param_{i}': 'x' * 100 for i in range(100)}

encoded = urlencode(long_params)
url_length = len("https://example.com/api?" + encoded)
print(f"Длина URL: {url_length} символов") # Более 10,000 символов

# Решение: перейти на POST-запросы для больших данных
import requests

# Вместо GET с длинным URL использовать POST с данными в теле
response = requests.post("https://example.com/api", data=long_params)

# Альтернатива: разбить на несколько запросов или использовать ID сессии
session_id = "abc123"
for i in range(0, 100, 10):
chunk = {k: v for k, v in list(long_params.items())[i:i+10]}
chunk['session_id'] = session_id
# requests.get("https://example.com/api", params=chunk)
print(f"Отправка части {i//10 + 1} с {len(chunk)} параметрами")

from urllib.parse import quote

# Пример потенциально опасного ввода пользователя
user_input = "'; DROP TABLE users; --"

# Небезопасное формирование URL
unsafe_url = f"https://example.com/search?q={user_input}"
print(unsafe_url) # https://example.com/search?q='; DROP TABLE users; --

# Безопасное формирование с кодированием
safe_url = f"https://example.com/search?q={quote(user_input)}"
print(safe_url) # https://example.com/search?q=%27%3B%20DROP%20TABLE%20users%3B%20--

# Дополнительный уровень защиты: проверка входных данных
import re

def sanitize_and_encode(input_string):
# Удаление потенциально опасных символов
sanitized = re.sub(r'[\'";\\]', '', input_string)
# Кодирование оставшейся строки
return quote(sanitized)

extra_safe_url = f"https://example.com/search?q={sanitize_and_encode(user_input)}"
print(extra_safe_url) # https://example.com/search?q=%20DROP%20TABLE%20users%3B%20--