XML-обработка в Python: библиотеки и методы для эффективной работы

<users>
<user id="1">
<name>John Doe</name>
<email>john@example.com</email>
<roles>
<role>admin</role>
<role>developer</role>
</roles>
</user>
<user id="2">
<name>Jane Smith</name>
<email>jane@example.com</email>
<roles>
<role>developer</role>
</roles>
</user>
</users>

import xml.etree.ElementTree as ET

# Загрузка из файла
tree = ET.parse('users.xml')
root = tree.getroot()

# Или из строки
xml_string = '''<users>...</users>'''
root = ET.fromstring(xml_string)

# Перебор всех элементов user
for user in root.findall('user'):
user_id = user.get('id')
name = user.find('name').text
email = user.find('email').text

print(f"User {user_id}: {name}, {email}")

# Получение вложенных элементов
roles = [role.text for role in user.findall('./roles/role')]
print(f"Roles: {', '.join(roles)}")

# Получить всех пользователей с ролью admin
admin_users = []
for user in root.findall('.//user'):
roles = [role.text for role in user.findall('./roles/role')]
if 'admin' in roles:
admin_users.append(user.find('name').text)

print(f"Administrators: {', '.join(admin_users)}")

# Создание нового документа
root = ET.Element('users')
user = ET.SubElement(root, 'user', {'id': '3'})
ET.SubElement(user, 'name').text = 'Bob Johnson'
ET.SubElement(user, 'email').text = 'bob@example.com'
roles = ET.SubElement(user, 'roles')
ET.SubElement(roles, 'role').text = 'tester'

# Запись в файл
tree = ET.ElementTree(root)
tree.write('new_users.xml', encoding='utf-8', xml_declaration=True)

# Обработка большого файла с минимальным использованием памяти
for event, elem in ET.iterparse('huge_file.xml', events=('end',)):
if elem.tag == 'user':
process_user(elem)
elem.clear() # Освобождаем память

from xml.dom import minidom

# Разбор XML из файла
doc = minidom.parse('users.xml')

# Или из строки
xml_string = '''<users>...</users>'''
doc = minidom.parseString(xml_string)

# Получение элементов по тегу
users = doc.getElementsByTagName('user')
for user in users:
# Получение атрибута
user_id = user.getAttribute('id')

# Получение текста элемента
name = user.getElementsByTagName('name')[0].firstChild.nodeValue
email = user.getElementsByTagName('email')[0].firstChild.nodeValue

print(f"User {user_id}: {name}, {email}")

# Получение вложенных элементов
roles_elem = user.getElementsByTagName('roles')[0]
role_elems = roles_elem.getElementsByTagName('role')
roles = [role.firstChild.nodeValue for role in role_elems]
print(f"Roles: {', '.join(roles)}")

# Создание нового документа
doc = minidom.getDOMImplementation().createDocument(None, "users", None)
root = doc.documentElement

# Создание элемента user
user = doc.createElement('user')
user.setAttribute('id', '3')
root.appendChild(user)

# Добавление дочерних элементов
name = doc.createElement('name')
name_text = doc.createTextNode('Bob Johnson')
name.appendChild(name_text)
user.appendChild(name)

email = doc.createElement('email')
email_text = doc.createTextNode('bob@example.com')
email.appendChild(email_text)
user.appendChild(email)

# Создание ещё одного уровня вложенности
roles = doc.createElement('roles')
user.appendChild(roles)
role = doc.createElement('role')
role_text = doc.createTextNode('tester')
role.appendChild(role_text)
roles.appendChild(role)

# Сохранение с отступами
xml_str = doc.toprettyxml(indent=" ")
with open('new_users.xml', 'w') as f:
f.write(xml_str)

pip install lxml

from lxml import etree

# Разбор из файла
tree = etree.parse('users.xml')
root = tree.getroot()

# Или из строки
xml_string = '''<users>...</users>'''
root = etree.fromstring(xml_string)

# Работа как с ElementTree
for user in root.findall('user'):
user_id = user.get('id')
name = user.find('name').text
email = user.find('email').text
print(f"User {user_id}: {name}, {email}")

# Использование полноценного XPath
# Найти всех пользователей с ролью 'admin'
admin_users = root.xpath('//user[roles/role="admin"]')
for user in admin_users:
print(f"Admin user: {user.find('name').text}")

# Выбор атрибутов через XPath
all_user_ids = root.xpath('//user/@id')
print(f"User IDs: {all_user_ids}")

# Комбинирование условий
developers_with_email = root.xpath('//user[roles/role="developer" and contains(email, "@example.com")]')
print(f"Found {len(developers_with_email)} developers with example.com email")

# Использование функций XPath
first_user_name = root.xpath('string(//user[1]/name)')
user_count = root.xpath('count(//user)')
print(f"First user: {first_user_name}, Total users: {int(user_count)}")

# Добавление нового элемента
new_user = etree.SubElement(root, 'user', id='4')
etree.SubElement(new_user, 'name').text = 'Alice Cooper'
etree.SubElement(new_user, 'email').text = 'alice@example.com'
roles = etree.SubElement(new_user, 'roles')
etree.SubElement(roles, 'role').text = 'manager'

# Модификация существующих элементов
for user in root.xpath('//user[roles/role="developer"]'):
# Добавляем новую роль для разработчиков
roles = user.find('roles')
new_role = etree.SubElement(roles, 'role')
new_role.text = 'coder'

# Удаление элементов
for old_role in root.xpath('//role[text()="developer"]'):
parent = old_role.getparent()
parent.remove(old_role)

# Запись с красивым форматированием
tree = etree.ElementTree(root)
tree.write('modified_users.xml', pretty_print=True, encoding='utf-8', xml_declaration=True)

# Определение XSLT-преобразования
xslt_string = '''
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:output method="html" indent="yes"/>

<xsl:template match="/">
<html>
<body>
<h1>User List</h1>
<table border="1">
<tr>
<th>ID</th>
<th>Name</th>
<th>Email</th>
<th>Roles</th>
</tr>
<xsl:for-each select="users/user">
<tr>
<td><xsl:value-of select="@id"/></td>
<td><xsl:value-of select="name"/></td>
<td><xsl:value-of select="email"/></td>
<td>
<xsl:for-each select="roles/role">
<xsl:value-of select="."/>
<xsl:if test="position() != last()">, </xsl:if>
</xsl:for-each>
</td>
</tr>
</xsl:for-each>
</table>
</body>
</html>
</xsl:template>
</xsl:stylesheet>
'''

# Создание XSLT-преобразователя
xslt_root = etree.XML(xslt_string)
transform = etree.XSLT(xslt_root)

# Применение преобразования
result = transform(tree)

# Сохранение результата
with open('users.html', 'wb') as f:
f.write(etree.tostring(result, pretty_print=True))

# XML Schema валидация
schema_str = '''
<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema">
<xs:element name="users">
<xs:complexType>
<xs:sequence>
<xs:element name="user" maxOccurs="unbounded">
<xs:complexType>
<xs:sequence>
<xs:element name="name" type="xs:string"/>
<xs:element name="email" type="xs:string"/>
<xs:element name="roles">
<xs:complexType>
<xs:sequence>
<xs:element name="role" type="xs:string" maxOccurs="unbounded"/>
</xs:sequence>
</xs:complexType>
</xs:element>
</xs:sequence>
<xs:attribute name="id" type="xs:positiveInteger" use="required"/>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
</xs:schema>
'''

schema_root = etree.XML(schema_str)
schema = etree.XMLSchema(schema_root)

# Проверка документа на соответствие схеме
try:
schema.assertValid(tree)
print("Document is valid")
except etree.DocumentInvalid as err:
print(f"Document is invalid: {err}")

# Обработка большого XML-файла с минимальным использованием памяти
for event, element in etree.iterparse('huge_file.xml', events=('end',), tag='user'):
# Обработка каждого пользователя
process_user(element)

# Очистка памяти
element.clear()
while element.getprevious() is not None:
del element.getparent()[0]

<?xml version="1.0" encoding="UTF-8"?>
<config>
<database>
<host>localhost</host>
<port>3306</port>
<name>myapp_db</name>
<user>app_user</user>
<password>s3cr3t</password>
</database>
<api>
<endpoint>https://api.example.com/v1</endpoint>
<timeout>30</timeout>
<retry>3</retry>
</api>
<logging>
<level>INFO</level>
<path>/var/log/myapp.log</path>
<max_size>10485760</max_size>
<backups>5</backups>
</logging>
</config>

import xml.etree.ElementTree as ET
import os

def load_config(config_path):
"""Загружает конфигурацию из XML-файла в словарь Python."""
if not os.path.exists(config_path):
raise FileNotFoundError(f"Config file not found: {config_path}")

tree = ET.parse(config_path)
root = tree.getroot()

config = {}

# Обработка секции database
db = root.find('database')
if db is not None:
config['database'] = {
'host': db.findtext('host', 'localhost'),
'port': int(db.findtext('port', '3306')),
'name': db.findtext('name', 'default_db'),
'user': db.findtext('user', ''),
'password': db.findtext('password', '')
}

# Обработка секции api
api = root.find('api')
if api is not None:
config['api'] = {
'endpoint': api.findtext('endpoint', ''),
'timeout': int(api.findtext('timeout', '60')),
'retry': int(api.findtext('retry', '3'))
}

# Обработка секции logging
logging = root.find('logging')
if logging is not None:
config['logging'] = {
'level': logging.findtext('level', 'INFO'),
'path': logging.findtext('path', './app.log'),
'max_size': int(logging.findtext('max_size', '1048576')),
'backups': int(logging.findtext('backups', '3'))
}

return config

# Использование
try:
app_config = load_config('config.xml')
print(f"Database connection: {app_config['database']['user']}@{app_config['database']['host']}")
print(f"API endpoint: {app_config['api']['endpoint']}")
print(f"Log level: {app_config['logging']['level']}")
except Exception as e:
print(f"Error loading config: {e}")

import csv
import xml.etree.ElementTree as ET
from xml.dom import minidom

def csv_to_xml(csv_file, xml_file, root_element='data', row_element='item'):
"""Преобразует CSV-файл в XML."""
# Чтение CSV
with open(csv_file, 'r', encoding='utf-8') as f:
reader = csv.DictReader(f)

# Создание корневого элемента XML
root = ET.Element(root_element)

# Обработка каждой строки CSV
for row in reader:
# Создание элемента для строки
item = ET.SubElement(root, row_element)

# Добавление всех полей из строки CSV как атрибуты или вложенные элементы
for field, value in row.items():
# Заменяем проблемные символы в именах полей
field_name = ''.join(c if c.isalnum() else '_' for c in field)

# Создаём элемент для каждого поля
field_elem = ET.SubElement(item, field_name)
field_elem.text = value

# Преобразование в строку с отступами
xml_str = minidom.parseString(ET.tostring(root)).toprettyxml(indent=" ")

# Запись в файл
with open(xml_file, 'w', encoding='utf-8') as out:
out.write(xml_str)

return True

# Пример использования
try:
result = csv_to_xml('employees.csv', 'employees.xml', 'employees', 'employee')
print(f"Conversion {'successful' if result else 'failed'}")
except Exception as e:
print(f"Error during conversion: {e}")

from lxml import etree

def extract_books_info(xml_file, author=None, category=None, min_year=None):
"""
Извлекает информацию о книгах с применением фильтров.
Возвращает список словарей с данными о книгах.
"""
tree = etree.parse(xml_file)
root = tree.getroot()

# Построение XPath-запроса на основе фильтров
xpath_query = "//book"
conditions = []

if author:
conditions.append(f"author[contains(text(), '{author}')]")
if category:
conditions.append(f"@category='{category}'")
if min_year:
conditions.append(f"year >= {min_year}")

if conditions:
xpath_query += "[" + " and ".join(conditions) + "]"

# Выполнение запроса
books = root.xpath(xpath_query)

# Сбор результатов
results = []
for book in books:
book_info = {
'id': book.get('id'),
'title': book.findtext('title', ''),
'author': book.findtext('author', ''),
'year': int(book.findtext('year', '0')),
'price': float(book.findtext('price', '0')),
'category': book.get('category', '')
}
results.append(book_info)

return results

# Использование
try:
# Поиск книг по фантастике после 2000 года
sci_fi_books = extract_books_info('library.xml', category='sci-fi', min_year=2000)

print(f"Found {len(sci_fi_books)} sci-fi books published after 2000:")
for book in sci_fi_books:
print(f"- {book['title']} by {book['author']} ({book['year']})")

# Поиск книг определённого автора
author_books = extract_books_info('library.xml', author='Tolkien')
print(f"\nFound {len(author_books)} books by Tolkien:")
for book in author_books:
print(f"- {book['title']} ({book['year']}) – ${book['price']}")

except Exception as e:
print(f"Error processing books: {e}")

import xml.etree.ElementTree as ET

def update_employee_data(xml_file, employee_id, updates):
"""
Обновляет информацию о сотруднике в XML-файле.

Args:
xml_file: путь к XML-файлу
employee_id: ID сотрудника для обновления
updates: словарь с обновляемыми полями

Returns:
bool: True если обновление успешно, False если сотрудник не найден
"""
tree = ET.parse(xml_file)
root = tree.getroot()

# Поиск сотрудника по ID
employee = root.find(f".//employee[@id='{employee_id}']")
if employee is None:
return False

# Обновление полей
for field, value in updates.items():
# Проверяем, существует ли такой элемент
field_elem = employee.find(field)
if field_elem is not None:
# Обновляем существующий элемент
field_elem.text = str(value)
else:
# Создаём новый элемент
new_field = ET.SubElement(employee, field)
new_field.text = str(value)

# Сохраняем изменения
tree.write(xml_file, encoding='utf-8', xml_declaration=True)
return True

# Пример использования
try:
updates = {
'position': 'Senior Developer',
'salary': '75000',
'department': 'Engineering'
}

success = update_employee_data('employees.xml', '1001', updates)
if success:
print("Employee information updated successfully")
else:
print("Employee not found")

except Exception as e:
print(f"Error updating employee data: {e}")

from lxml import etree

def generate_sales_report(xml_file, output_html):
"""Генерирует HTML-отчёт о продажах на основе XML-данных."""
# XSLT-шаблон для преобразования
xslt_str = '''
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:output method="html" indent="yes" encoding="UTF-8"/>

<xsl:template match="/">
<html>
<head>
<title>Sales Report</title>
<style>
body { font-family: Arial, sans-serif; margin: 20px; }
h1 { color: #2c3e50; }
table { border-collapse: collapse; width: 100%; margin-top: 20px; }
th, td { border: 1px solid #ddd; padding: 8px; text-align: left; }
th { background-color: #f2f2f2; }
tr:nth-child(even) { background-color: #f9f9f9; }
.total { font-weight: bold; background-color: #e9f7ef; }
</style>
</head>
<body>
<h1>Sales Report</h1>

<h2>Summary</h2>
<p>Period: <xsl:value-of select="sales/@period"/></p>
<p>Total Sales: $<xsl:value-of select="format-number(sum(//sale/amount), '#,##0.00')"/></p>
<p>Number of Transactions: <xsl:value-of select="count(//sale)"/></p>

<h2>Sales by Product</h2>
<table>
<tr>
<th>Product</th>
<th>Total Units</th>
<th>Total Amount</th>
</tr>
<xsl:for-each select="//product[not(@name=preceding::product/@name)]/@name">
<xsl:variable name="product_name" select="."/>
<tr>
<td><xsl:value-of select="$product_name"/></td>
<td><xsl:value-of select="sum(//sale[product/@name=$product_name]/quantity)"/></td>
<td>$<xsl:value-of select="format-number(sum(//sale[product/@name=$product_name]/amount), '#,##0.00')"/></td>
</tr>
</xsl:for-each>
<tr class="total">
<td>Total</td>
<td><xsl:value-of select="sum(//quantity)"/></td>
<td>$<xsl:value-of select="format-number(sum(//amount), '#,##0.00')"/></td>
</tr>
</table>

<h2>Detailed Sales</h2>
<table>
<tr>
<th>Date</th>
<th>Customer</th>
<th>Product</th>
<th>Quantity</th>
<th>Amount</th>
</tr>
<xsl:for-each select="//sale">
<xsl:sort select="date" order="descending"/>
<tr>
<td><xsl:value-of select="date"/></td>
<td><xsl:value-of select="customer"/></td>
<td><xsl:value-of select="product/@name"/></td>
<td><xsl:value-of select="quantity"/></td>
<td>$<xsl:value-of select="format-number(amount, '#,##0.00')"/></td>
</tr>
</xsl:for-each>
</table>
</body>
</html>
</xsl:template>
</xsl:stylesheet>
'''

try:
# Загружаем XML и XSLT
xml_doc = etree.parse(xml_file)
xslt_doc = etree.fromstring(xslt_str)
transform = etree.XSLT(xslt_doc)

# Применяем трансформацию
result = transform(xml_doc)

# Сохраняем результат
with open(output_html, 'wb') as f:
f.write(etree.tostring(result, pretty_print=True, method='html', encoding='utf-8'))

return True
except Exception as e:
print(f"Error generating report: {e}")
return False

# Пример использования
if generate_sales_report('sales_data.xml', 'sales_report.html'):
print("Sales report generated successfully!")
else:
print("Failed to generate sales report")