Как проверить валидность URL в Python: обработка сырых ссылок

Быстрый ответ

URL в Python можно проверить на валидность с помощью метода url из пакета validators:

import validators

is_valid = validators.url("http://www.example.com")

print("Удовлетворяет ли ваш URL необходимым требованиям? :", is_valid)

С помощью данного кода вы можете легко определить, соответствует ли URL стандартам, и в случае успешной проверки вернуть True.

Стратегии проверки URL

Существует множество способов проверки URL на валидность в Python, подход к выбору которых зависит от поставленных задач и предпочтений. Рассмотрим некоторые из них.

Используем возможности Django

Пользователи Django могут воспользоваться встроенным URLValidator. Это инструмент проверяет не только формат URL, но и факт существования пути:

from django.core.validators import URLValidator
from django.core.exceptions import ValidationError

validator = URLValidator(verify_exists=True)

try:
    validator("https://www.example.com")
    print("URL проходит проверку!")
except ValidationError as e:
    print("Попытки обмануть нас не пройдут, некорректный URL:", e)

Не обходите стороной средства Python’s urlparse

Модуль urlparse из стандартной библиотеки Python обеспечивает средства для анализа URL:

from urllib.parse import urlparse

def is_valid_url(url):
    parsed_url = urlparse(url)
    return all([parsed_url.scheme, parsed_url.netloc])

url = "http://www.example.com"
print("Следует ли ваш URL всем правилам? :", is_valid_url(url))

Этот способ позволяет проверить наличие схемы и домена в URL.

Учитываем разнообразие и сложности

Следует учесть, что существуют множественные вариации URL, включающие различные порты, параметры запроса и другие элементы. Важно тщательно проверять соответствие URL всем требуемым условиям.

Визуализация

Продемонстрируем на аналогии с парком автомобилей:

URL (Ваш автомобиль): 🚘
Дорога (Интернет): 🛣️🚧🛤️

-🛣️- Валидная дорога (URL): [🚘 -> 🛣️] (Плавное движение)
-🛤️- Невалидная дорога (URL): [🚘 -> ❓] (Авария!)

По аналогии с проверкой дорог перед началом поездки, важно убедиться, что URL готов к "путешествию" в интернет:

def is_valid_url(url):
    try:
        result = urlparse(url)
        return all([result.scheme, result.netloc])
    except ValueError:
        return False

Таким образом, мы гарантируем наличие схемы и домена в URL и предотвращаем "аварии" вроде "404 not found".

Продвинутая проверка URL

Проверка URL — это сложная и детализированная работа, которая часто выходит за простую валидацию формата.

Регулярные выражения в помощь

Для полного контроля над процессом можно использовать регулярные выражения:

import re

regex_pattern = re.compile(
    r"^(?:http|ftp)s?://"
    r"(?:[A-Z0-9](?:[A-Z0-9-]{0,61}[A-Z0-9])?\.)+(?:[A-Z]{2,6}\.?|[A-Z0-9-]{2,}\.?$)"
    r"(?::\d+)?"
    r"(?:/?|[/?]\S+)$", re.IGNORECASE)

def is_valid_url(url, pattern=regex_pattern):
    return re.match(pattern, url) is not None 

print("Удаётся ли вашему URL обманывать регулярные выражения?:", is_valid_url("http://localhost:8000/test"))

Проверяем, прежде чем делать... HTTP-запрос

Проверка URL перед выполнением HTTP-запроса позволяет минимизировать риск возникновения ошибок:

import requests

url = "http://www.example.com"
if is_valid_url(url):
    response = requests.get(url)
else:
    print("Ваш URL не прошёл проверку.")

Целостность данных: важный вопрос

При работе с данными, особенно если они предоставлены пользователем или получены из внешних источников, крайне важно проводить валидацию каждого URL для гарантии целостности и безопасности данных.

Полезные материалы

1. urllib.parse — Разбор URL до составляющих — Документация Python 3.12.2
2. Как проверить URL на валидность в Python? (Корректный или нет) – Stack Overflow
3. validators — документация пакета validators 0.11.2
4. Валидаторы | Документация Django | Django
5. RFC 3986 – Единообразный идентификатор ресурса (URI): общий синтаксис
6. Requests: HTTP для людей™ — Документация Requests 2.31.0