Обработка PDF в Python: автоматизация и парсинг документов

from reportlab.pdfgen import canvas
from reportlab.lib.pagesizes import A4
from reportlab.lib import colors

# Создаем новый PDF-документ
c = canvas.Canvas("hello_world.pdf", pagesize=A4)

# Добавляем текст
c.setFont("Helvetica", 16)
c.drawString(100, 750, "Привет, PDF!")

# Добавляем линию
c.setStrokeColor(colors.blue)
c.line(100, 740, 500, 740)

# Добавляем прямоугольник
c.rect(100, 650, 400, 50, fill=0)

# Сохраняем документ
c.save()

from reportlab.platypus import SimpleDocTemplate, Paragraph, Spacer, Table
from reportlab.lib.styles import getSampleStyleSheet
from reportlab.lib.pagesizes import A4
from reportlab.lib import colors

# Создаем документ
doc = SimpleDocTemplate("complex_document.pdf", pagesize=A4)

# Создаем стили
styles = getSampleStyleSheet()
title_style = styles['Heading1']
normal_style = styles['Normal']

# Создаем элементы
elements = []
elements.append(Paragraph("Отчет о продажах", title_style))
elements.append(Spacer(1, 12))
elements.append(Paragraph("Этот документ содержит информацию о продажах за последний квартал.", normal_style))
elements.append(Spacer(1, 12))

# Создаем таблицу
data = [
['Продукт', 'Январь', 'Февраль', 'Март'],
['Продукт A', '1200', '1500', '1800'],
['Продукт B', '900', '1100', '1300'],
['Продукт C', '1500', '1600', '1400']
]

table = Table(data)
table.setStyle([
('BACKGROUND', (0, 0), (-1, 0), colors.grey),
('TEXTCOLOR', (0, 0), (-1, 0), colors.whitesmoke),
('ALIGN', (0, 0), (-1, -1), 'CENTER'),
('GRID', (0, 0), (-1, -1), 1, colors.black)
])
elements.append(table)

# Создаем PDF
doc.build(elements)

from PyPDF2 import PdfReader, PdfWriter

# Открываем исходный PDF
reader = PdfReader("input.pdf")

# Создаем новый PDF для записи
writer = PdfWriter()

# Добавляем страницы в обратном порядке
for page in reversed(reader.pages):
writer.add_page(page)

# Удаляем первую страницу (теперь последнюю в исходном документе)
writer.pages.pop(0)

# Добавляем страницу из другого документа
other_reader = PdfReader("other.pdf")
writer.add_page(other_reader.pages[0])

# Сохраняем результат
with open("output.pdf", "wb") as output_file:
writer.write(output_file)

# Извлечение текста с помощью PyPDF2
from PyPDF2 import PdfReader

reader = PdfReader("document.pdf")
text = ""
for page in reader.pages:
text += page.extract_text() + "\n"

# Более продвинутое извлечение с помощью pdfminer
from pdfminer.high_level import extract_text

text = extract_text("document.pdf")

# Извлечение с сохранением структуры таблиц с помощью pdfplumber
import pdfplumber

with pdfplumber.open("document.pdf") as pdf:
page = pdf.pages[0]
# Извлечение таблицы
table = page.extract_table()
# Извлечение текста
text = page.extract_text()

from PyPDF2 import PdfReader, PdfWriter
from reportlab.pdfgen import canvas
from reportlab.lib.pagesizes import letter
from io import BytesIO

# Создаем временный PDF с наложением текста
packet = BytesIO()
c = canvas.Canvas(packet, pagesize=letter)
c.drawString(100, 650, "Это добавленный текст!")
c.save()
packet.seek(0)

# Читаем исходный PDF
original_pdf = PdfReader("original.pdf")
watermark = PdfReader(packet)

# Создаем PDF для вывода результата
output = PdfWriter()

# Накладываем текст на каждую страницу
for i in range(len(original_pdf.pages)):
page = original_pdf.pages[i]
page.merge_page(watermark.pages[0])
output.add_page(page)

# Сохраняем результат
with open("output_with_text.pdf", "wb") as output_file:
output.write(output_file)

from PyPDF2 import PdfReader, PdfWriter

# Открываем PDF-форму
reader = PdfReader("form.pdf")
writer = PdfWriter()

# Получаем первую страницу
page = reader.pages[0]
writer.add_page(page)

# Заполняем поля формы
writer.update_page_form_field_values(
writer.pages[0], {
"name": "Иван Иванов",
"email": "ivan@example.com",
"phone": "+7 (999) 123-45-67"
}
)

# Сохраняем заполненную форму
with open("filled_form.pdf", "wb") as output_file:
writer.write(output_file)

import pdfplumber
import pandas as pd

def extract_tables_from_pdf(pdf_path, pages=None):
"""
Извлекает все таблицы из указанных страниц PDF-документа.

:param pdf_path: путь к PDF-файлу
:param pages: список номеров страниц (если None, обрабатываются все страницы)
:return: список DataFrame с таблицами
"""
all_tables = []

with pdfplumber.open(pdf_path) as pdf:
# Если страницы не указаны, обрабатываем все
if pages is None:
pages = range(len(pdf.pages))
else:
# Преобразуем в 0-based индексы
pages = [p-1 for p in pages]

for i in pages:
if i >= len(pdf.pages):
continue

page = pdf.pages[i]
tables = page.extract_tables()

for table in tables:
# Преобразуем таблицу в DataFrame
df = pd.DataFrame(table[1:], columns=table[0])

# Очистка и преобразование типов данных
df = df.applymap(lambda x: x.strip() if isinstance(x, str) else x)

# Можно добавить информацию о странице
df['source_page'] = i + 1

all_tables.append(df)

return all_tables

# Пример использования
tables = extract_tables_from_pdf("financial_report.pdf", pages=[5, 6, 7])

# Объединение всех таблиц
combined_data = pd.concat(tables, ignore_index=True)

# Сохранение в Excel
combined_data.to_excel("extracted_tables.xlsx", index=False)

import re
import pdfplumber

def extract_invoice_data(pdf_path):
"""
Извлекает ключевые данные из счета-фактуры.

:param pdf_path: путь к PDF-файлу со счетом
:return: словарь с извлеченными данными
"""
invoice_data = {
"invoice_number": None,
"date": None,
"total_amount": None,
"vendor": None,
"line_items": []
}

with pdfplumber.open(pdf_path) as pdf:
# Обычно информация о счете на первой странице
first_page_text = pdf.pages[0].extract_text()

# Извлечение номера счета (пример шаблона)
invoice_match = re.search(r'Счет[:\s-]*№?\s*([A-Za-z0-9\-\/]+)', first_page_text, re.IGNORECASE)
if invoice_match:
invoice_data["invoice_number"] = invoice_match.group(1).strip()

# Извлечение даты (формат ДД.ММ.ГГГГ)
date_match = re.search(r'Дата[:\s]*(\d{2}[.]\d{2}[.]\d{4})', first_page_text, re.IGNORECASE)
if date_match:
invoice_data["date"] = date_match.group(1)

# Извлечение суммы
amount_match = re.search(r'Итого[:\s]*(\d+[.,]\d{2})', first_page_text, re.IGNORECASE)
if amount_match:
invoice_data["total_amount"] = amount_match.group(1).replace(',', '.')

# Извлечение информации о поставщике
vendor_match = re.search(r'Поставщик[:\s]*(.*?)(?:\n|\r|\s{2,}|$)', first_page_text, re.IGNORECASE)
if vendor_match:
invoice_data["vendor"] = vendor_match.group(1).strip()

# Извлечение позиций счета из таблицы
for page in pdf.pages:
tables = page.extract_tables()
for table in tables:
# Пропускаем заголовок таблицы
for row in table[1:]:
# Предполагаем структуру таблицы: Наименование, Количество, Цена, Сумма
if len(row) >= 4 and any(row): # Проверяем, что строка не пустая
item = {
"description": row[0],
"quantity": row[1],
"price": row[2],
"amount": row[3]
}
invoice_data["line_items"].append(item)

return invoice_data

# Пример использования
invoice_data = extract_invoice_data("invoice.pdf")
print(f"Счет №{invoice_data['invoice_number']} от {invoice_data['date']}")
print(f"Сумма: {invoice_data['total_amount']}")
print(f"Поставщик: {invoice_data['vendor']}")
print("\nПозиции счета:")
for item in invoice_data["line_items"]:
print(f"- {item['description']}: {item['quantity']} x {item['price']} = {item['amount']}")

from PyPDF2 import PdfReader, PdfWriter
import os

def merge_pdfs(directory, output_filename):
"""
Объединяет все PDF-файлы из указанной директории в один документ.

:param directory: директория с PDF-файлами
:param output_filename: имя выходного файла
"""
# Создаем объект для записи
pdf_writer = PdfWriter()

# Получаем список всех PDF-файлов в директории
pdf_files = [f for f in os.listdir(directory) if f.endswith('.pdf')]
pdf_files.sort() # Сортировка файлов по имени

# Добавляем все страницы из каждого файла
for pdf_file in pdf_files:
pdf_path = os.path.join(directory, pdf_file)
pdf_reader = PdfReader(pdf_path)
for page in pdf_reader.pages:
pdf_writer.add_page(page)

# Сохраняем результат
with open(output_filename, 'wb') as out_file:
pdf_writer.write(out_file)

print(f"Объединение завершено. Создан файл '{output_filename}'")

# Пример использования
merge_pdfs("./documents", "combined_document.pdf")

import pandas as pd
from reportlab.lib.pagesizes import letter
from reportlab.lib import colors
from reportlab.platypus import SimpleDocTemplate, Table, TableStyle, Paragraph, Spacer
from reportlab.lib.styles import getSampleStyleSheet

def create_sales_report(csv_file, output_pdf):
"""
Создает PDF-отчет о продажах на основе данных из CSV-файла.

:param csv_file: путь к CSV-файлу с данными
:param output_pdf: имя выходного PDF-файла
"""
# Загружаем данные из CSV
data = pd.read_csv(csv_file)

# Создаем PDF-документ
doc = SimpleDocTemplate(output_pdf, pagesize=letter)
elements = []

# Добавляем стили
styles = getSampleStyleSheet()
title_style = styles["Heading1"]
subtitle_style = styles["Heading2"]
normal_style = styles["Normal"]

# Заголовок отчета
elements.append(Paragraph("Отчет о продажах", title_style))
elements.append(Spacer(1, 12))

# Общая информация
elements.append(Paragraph(f"Период: {data['Date'].min()} – {data['Date'].max()}", subtitle_style))
elements.append(Paragraph(f"Общая сумма продаж: {data['Amount'].sum():,.2f} руб.", normal_style))
elements.append(Paragraph(f"Количество транзакций: {len(data)}", normal_style))
elements.append(Spacer(1, 24))

# Создаем таблицу продаж по категориям
elements.append(Paragraph("Продажи по категориям", subtitle_style))
category_sales = data.groupby('Category')['Amount'].agg(['sum', 'count']).reset_index()
category_sales.columns = ['Категория', 'Сумма продаж', 'Количество продаж']
category_sales['Сумма продаж'] = category_sales['Сумма продаж'].apply(lambda x: f"{x:,.2f} руб.")

# Преобразуем DataFrame в список для таблицы
category_data = [category_sales.columns.tolist()] + category_sales.values.tolist()

# Создаем таблицу
table = Table(category_data)
table.setStyle(TableStyle([
('BACKGROUND', (0, 0), (-1, 0), colors.grey),
('TEXTCOLOR', (0, 0), (-1, 0), colors.whitesmoke),
('ALIGN', (0, 0), (-1, -1), 'CENTER'),
('FONTNAME', (0, 0), (-1, 0), 'Helvetica-Bold'),
('BOTTOMPADDING', (0, 0), (-1, 0), 12),
('GRID', (0, 0), (-1, -1), 1, colors.black)
]))
elements.append(table)
elements.append(Spacer(1, 24))

# Топ продавцов (если есть такие данные)
if 'Salesperson' in data.columns:
elements.append(Paragraph("Топ-5 продавцов", subtitle_style))
top_sales = data.groupby('Salesperson')['Amount'].sum().nlargest(5).reset_index()
top_sales.columns = ['Продавец', 'Сумма продаж']
top_sales['Сумма продаж'] = top_sales['Сумма продаж'].apply(lambda x: f"{x:,.2f} руб.")

top_data = [top_sales.columns.tolist()] + top_sales.values.tolist()

top_table = Table(top_data)
top_table.setStyle(TableStyle([
('BACKGROUND', (0, 0), (-1, 0), colors.grey),
('TEXTCOLOR', (0, 0), (-1, 0), colors.whitesmoke),
('ALIGN', (0, 0), (-1, -1), 'CENTER'),
('FONTNAME', (0, 0), (-1, 0), 'Helvetica-Bold'),
('BOTTOMPADDING', (0, 0), (-1, 0), 12),
('GRID', (0, 0), (-1, -1), 1, colors.black)
]))
elements.append(top_table)

# Сохраняем PDF
doc.build(elements)
print(f"Отчет сохранен в файл {output_pdf}")

# Пример использования
create_sales_report("sales_data.csv", "sales_report.pdf")

from PyPDF2 import PdfReader
import re
import json

def extract_form_data(pdf_path, output_json=None):
"""
Извлекает данные из заполненной PDF-формы и сохраняет их в JSON-файл.

:param pdf_path: путь к PDF-файлу с заполненной формой
:param output_json: путь для сохранения JSON (если None, данные только возвращаются)
:return: словарь с извлеченными данными
"""
# Открываем PDF
pdf = PdfReader(pdf_path)

# Словарь для хранения данных
form_data = {}

# Извлекаем данные из полей формы, если они есть
if pdf.get_form_text_fields():
form_data = pdf.get_form_text_fields()
else:
# Если форма не интерактивная, пытаемся извлечь данные из текста
text = ""
for page in pdf.pages:
text += page.extract_text() + "\n"

# Пример извлечения данных с помощью регулярных выражений
# (нужно адаптировать под конкретную форму)
patterns = {
"name": r"Имя[:\s]+(.*?)(?:\n|\r|$)",
"email": r"Email[:\s]+([\w\.-]+@[\w\.-]+\.\w+)",
"phone": r"Телефон[:\s]+(\+?[0-9\s\-\(\)]+)",
"address": r"Адрес[:\s]+(.*?)(?:\n|\r|$)",
}

for field, pattern in patterns.items():
match = re.search(pattern, text, re.IGNORECASE)
if match:
form_data[field] = match.group(1).strip()

# Сохраняем данные в JSON-файл, если указан путь
if output_json:
with open(output_json, 'w', encoding='utf-8') as f:
json.dump(form_data, f, ensure_ascii=False, indent=4)
print(f"Данные формы сохранены в {output_json}")

return form_data

# Пример использования
form_data = extract_form_data("application_form.pdf", "form_data.json")
print("Извлеченные данные:")
for key, value in form_data.items():
print(f"{key}: {value}")

from PyPDF2 import PdfReader, PdfWriter
from reportlab.pdfgen import canvas
from reportlab.lib.pagesizes import letter
from io import BytesIO
import os

def add_watermark_and_protect(input_pdf, output_pdf, watermark_text, password):
"""
Добавляет водяной знак на каждую страницу PDF и защищает документ паролем.

:param input_pdf: путь к исходному PDF-файлу
:param output_pdf: путь для сохранения защищенного PDF
:param watermark_text: текст водяного знака
:param password: пароль для защиты документа
"""
# Создаем водяной знак в отдельном PDF
packet = BytesIO()
c = canvas.Canvas(packet, pagesize=letter)

# Настраиваем прозрачность и шрифт
c.setFillColorRGB(0.5, 0.5, 0.5, alpha=0.3) # Серый цвет с прозрачностью
c.setFont("Helvetica", 48)

# Добавляем текст по диагонали
c.saveState()
c.translate(300, 400)
c.rotate(45)
c.drawString(0, 0, watermark_text)
c.restoreState()

c.save()
packet.seek(0)

# Читаем водяной знак в объект PDF
watermark = PdfReader(packet)
watermark_page = watermark.pages[0]

# Открываем исходный PDF
original = PdfReader(input_pdf)
output = PdfWriter()

# Применяем водяной знак к каждой странице
for i in range(len(original.pages)):
page = original.pages[i]
page.merge_page(watermark_page)
output.add_page(page)

# Шифруем документ
output.encrypt(password)

# Сохраняем защищенный PDF
with open(output_pdf, "wb") as file:
output.write(file)

print(f"Документ с водяным знаком сохранен как {output_pdf} и защищен паролем")

# Пример использования
add_watermark_and_protect("confidential_document.pdf", "protected_document.pdf", 
"КОНФИДЕНЦИАЛЬНО", "secure123")

from PyPDF2 import PdfReader
import fitz # PyMuPDF
import io
from PIL import Image
import os

def extract_images_from_pdf(pdf_path, output_dir):
"""
Извлекает все изображения из PDF-документа и сохраняет их в указанную директорию.

:param pdf_path: путь к PDF-файлу
:param output_dir: директория для сохранения извлеченных изображений
:return: список путей к сохраненным изображениям
"""
# Создаем директорию для сохранения, если она не существует
if not os.path.exists(output_dir):
os.makedirs(output_dir)

# Извлекаем изображения с помощью PyMuPDF
saved_images = []
pdf_document = fitz.open(pdf_path)

# Счетчик для именования файлов
image_count = 0

for page_num in range(pdf_document.page_count):
page = pdf_document.load_page(page_num)
image_list = page.get_images(full=True)

for img_index, img_info in enumerate(image_list):
xref = img_info[0]
base_image = pdf_document.extract_image(xref)
image_bytes = base_image["image"]
image_extension = base_image["ext"]

# Открываем изображение с помощью PIL
image = Image.open(io.BytesIO(image_bytes))

# Пропускаем слишком маленькие изображения (часто это иконки или декоративные элементы)
if image.width < 50 or image.height < 50:
continue

# Формируем имя файла
image_filename = f"{os.path.basename(pdf_path).replace('.pdf', '')}_{image_count}.{image_extension}"
image_path = os.path.join(output_dir, image_filename)

# Сохраняем изображение
image.save(image_path)
saved_images.append(image_path)
image_count += 1

print(f"Сохранено изображение {image_path}")

pdf_document.close()

return saved_images

# Пример использования
extracted_images = extract_images_from_pdf("document_with_images.pdf", "extracted_images")
print(f"Всего извлечено {len(extracted_images)} изображений")