YAML в Python: парсинг конфигураций для разработчиков – базовые методы

# Конфигурация приложения
app:
name: my-service
version: 1.2.3
settings:
debug: true
timeout: 30
dependencies:
- database
- cache
- message-queue

{
'app': {
'name': 'my-service',
'version': '1.2.3',
'settings': {
'debug': True,
'timeout': 30
},
'dependencies': ['database', 'cache', 'message-queue']
}
}

pip install pyyaml

import yaml

# Парсинг YAML-строки
yaml_str = """
user:
name: John Doe
age: 30
roles:
- admin
- developer
"""

data = yaml.safe_load(yaml_str)
print(data)

pip install ruamel.yaml

from ruamel.yaml import YAML

yaml = YAML()
yaml.preserve_quotes = True # Сохраняет кавычки при чтении/записи

# Чтение из файла
with open('config.yaml', 'r') as file:
data = yaml.load(file)

# Модификация данных
data['settings']['debug'] = False

# Запись обратно в файл с сохранением форматирования и комментариев
with open('config.yaml', 'w') as file:
yaml.dump(data, file)

# requirements.txt
pyyaml==6.0
# или
ruamel.yaml==0.17.21

import yaml

yaml_string = """
server:
host: localhost
port: 8080
ssl: true
logging:
level: INFO
file: app.log
"""

# Безопасная загрузка из строки
config = yaml.safe_load(yaml_string)
print(config['server']['port']) # Выведет: 8080

import yaml

# Чтение из файла
with open('config.yaml', 'r') as file:
config = yaml.safe_load(file)

# Теперь можно использовать данные
database_url = config['database']['url']
timeout = config['api']['timeout']

import yaml

multi_doc = """
# Документ 1: Настройки разработки
environment: development
debug: true
---
# Документ 2: Настройки продакшена
environment: production
debug: false
"""

# Загрузка всех документов
configs = list(yaml.safe_load_all(multi_doc))
print(f"Development debug: {configs[0]['debug']}") # True
print(f"Production debug: {configs[1]['debug']}") # False

import yaml

try:
with open('config.yaml', 'r') as file:
config = yaml.safe_load(file)
except yaml.YAMLError as e:
print(f"Ошибка парсинга YAML: {e}")
# Можно использовать значения по умолчанию или завершить программу
config = {'default': 'configuration'}
except FileNotFoundError:
print("Файл конфигурации не найден, создаю стандартную конфигурацию")
config = {'default': 'configuration'}
# Опционально – создать файл со стандартными настройками
with open('config.yaml', 'w') as file:
yaml.dump(config, file)

import yaml

# Создаем Python-словарь
config = {
'app_name': 'My Application',
'version': '1.0.0',
'settings': {
'debug': True,
'theme': 'dark',
'cache_timeout': 3600
},
'allowed_ips': ['127.0.0.1', '192.168.1.1']
}

# Запись в файл
with open('new_config.yaml', 'w') as file:
yaml.dump(config, file, default_flow_style=False, sort_keys=False)

import yaml
from datetime import datetime

# Определяем функции для сериализации/десериализации datetime
def datetime_representer(dumper, data):
return dumper.represent_scalar('!datetime', data.isoformat())

def datetime_constructor(loader, node):
value = loader.construct_scalar(node)
return datetime.fromisoformat(value)

# Регистрируем обработчики
yaml.add_representer(datetime, datetime_representer)
yaml.add_constructor('!datetime', datetime_constructor)

# Пример использования
data = {
'name': 'Event',
'created_at': datetime.now(),
'updated_at': datetime(2023, 5, 15, 10, 30)
}

# Сериализация
yaml_str = yaml.dump(data)
print(yaml_str)

# Десериализация
loaded_data = yaml.load(yaml_str, Loader=yaml.FullLoader)
print(type(loaded_data['created_at'])) # <class 'datetime.datetime'>

import yaml

complex_yaml = """
application:
name: ComplexApp
version: 2.1
components:
database:
type: postgres
connections:
max: 100
timeout: 30
pool_size: 5
credentials:
username: app_user
password: secure_password
cache:
type: redis
ttl: 3600
api:
endpoints:
- name: users
method: GET
rate_limit: 100
- name: orders
method: POST
rate_limit: 50
"""

config = yaml.safe_load(complex_yaml)

# Доступ к глубоко вложенным элементам
db_pool_size = config['application']['components']['database']['connections']['pool_size']
api_endpoints = config['application']['components']['api']['endpoints']

# Обработка списков внутри структуры
for endpoint in api_endpoints:
print(f"Endpoint {endpoint['name']} has rate limit {endpoint['rate_limit']}")

# Определение общих настроек с якорем &common_settings
common: &common_settings
logging: true
timeout: 60
retry:
attempts: 3
delay: 5

# Использование ссылки *common_settings
service1:
<<: *common_settings # Включаем все из common_settings
name: auth-service
port: 8000

service2:
<<: *common_settings # Переиспользуем те же настройки
name: payment-service
port: 8001
# Можно переопределить общие настройки
timeout: 30

import yaml

config = yaml.safe_load(yaml_with_anchors)
print(config['service1']['retry']['attempts']) # 3
print(config['service2']['timeout']) # 30 (переопределено)

import yaml
import base64

# Определяем обработчик для декодирования base64
def base64_constructor(loader, node):
value = loader.construct_scalar(node)
return base64.b64decode(value).decode('utf-8')

# Регистрируем обработчик тега !base64
yaml.add_constructor('!base64', base64_constructor, Loader=yaml.SafeLoader)

# Пример YAML с пользовательским тегом
yaml_with_tags = """
api_key: !base64 c2VjcmV0X2tleQ== # Декодируется в "secret_key"
"""

config = yaml.safe_load(yaml_with_tags)
print(config['api_key']) # Выведет: secret_key

import yaml

yaml_multiline = """
description: |
Это многострочное описание.
Оно сохраняет переводы строк.
Отлично подходит для документации.

sql_query: >
SELECT *
FROM users
WHERE status = 'active'
AND created_at > '2023-01-01'
"""

content = yaml.safe_load(yaml_multiline)
print(content['description'])
# Выведет текст с сохранением переносов строк

print(content['sql_query'])
# Выведет SQL-запрос как одну строку с пробелами вместо переносов

import yaml
import os

def include_constructor(loader, node):
filename = os.path.join(os.path.dirname(loader.name), loader.construct_scalar(node))
with open(filename, 'r') as f:
return yaml.safe_load(f)

# Регистрация конструктора для тега !include
yaml.add_constructor('!include', include_constructor, Loader=yaml.SafeLoader)

# Теперь можно использовать !include в YAML-файлах
# config.yaml может содержать: database: !include database.yaml

from ruamel.yaml import YAML

yaml = YAML()
yaml.preserve_quotes = True
yaml.indent(mapping=2, sequence=4, offset=2)

# Пример файла с комментариями
config_text = """
# Основные настройки приложения
app:
name: MyApp # Имя приложения
version: 1.0.0 # Текущая версия
# Раздел с настройками базы данных
database:
host: localhost
port: 5432 # Стандартный порт PostgreSQL
"""

# Загружаем с сохранением комментариев
data = yaml.load(config_text)

# Изменяем данные
data['app']['version'] = '1.1.0'
data['app']['database']['port'] = 5433

# Записываем обратно с сохранением комментариев
import sys
yaml.dump(data, sys.stdout)

from ruamel.yaml import YAML

yaml = YAML()
yaml.version = (1, 2) # Явно указываем версию YAML

# YAML 1.2 правильно обрабатывает логические значения
yaml_str = """
values:
- Yes # в YAML 1.1 это True, в 1.2 это 'Yes'
- No # в YAML 1.1 это False, в 1.2 это 'No'
- on # в YAML 1.1 это True, в 1.2 это 'on'
- off # в YAML 1.1 это False, в 1.2 это 'off'
- true # в обоих случаях это True
- false # в обоих случаях это False
"""

data = yaml.load(yaml_str)
print(data['values']) # ['Yes', 'No', 'on', 'off', True, False]

from ruamel.yaml import YAML

yaml = YAML()
yaml.preserve_quotes = True
yaml.explicit_start = True # Добавляет --- в начале документа

config = """
database:
host: localhost
port: 5432
user: admin
password: "secure123"
app:
debug: true
log_level: info
secret_key: "your-secret-key"
"""

# Загружаем данные
data = yaml.load(config)

# Модифицируем некоторые значения
data['database']['port'] = 5433
data['app']['log_level'] = 'debug'

# Записываем обратно с сохранением порядка ключей
with open('updated_config.yaml', 'w') as file:
yaml.dump(data, file)

from ruamel.yaml import YAML

yaml = YAML()
# Настраиваем стиль представления
yaml.default_flow_style = False # Используем блочный стиль
yaml.indent(mapping=2, sequence=4, offset=2)
yaml.width = 80 # Максимальная ширина строки

data = {
'server': {
'hosts': ['server1.example.com', 'server2.example.com', 'server3.example.com'],
'ports': [80, 443, 8080],
'enabled': True
},
'environment': {
'JAVA_HOME': '/usr/lib/jvm/default-java',
'PATH': '/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin'
}
}

# Записываем с заданным форматированием
with open('formatted_config.yaml', 'w') as file:
yaml.dump(data, file)

from ruamel.yaml import YAML

yaml = YAML()

multi_doc = """
# Документ 1: Настройки для разработки
environment: development
debug: true
---
# Документ 2: Настройки для продакшена
environment: production
debug: false
"""

# Загружаем все документы
docs = list(yaml.load_all(multi_doc))

# Модифицируем документы
docs[0]['database'] = {'host': 'localhost', 'port': 5432}
docs[1]['database'] = {'host': 'db.example.com', 'port': 5432}

# Записываем обратно все документы
with open('multi_env_config.yaml', 'w') as file:
yaml.dump_all(docs, file)

from ruamel.yaml import YAML
import json

# Загрузка JSON и сохранение как YAML
def json_to_yaml(json_file, yaml_file):
with open(json_file, 'r') as jfile:
json_data = json.load(jfile)

yaml = YAML()
yaml.indent(mapping=2, sequence=4, offset=2)

with open(yaml_file, 'w') as yfile:
yaml.dump(json_data, yfile)

# Загрузка YAML и сохранение как JSON
def yaml_to_json(yaml_file, json_file, pretty=True):
yaml = YAML(typ='safe')

with open(yaml_file, 'r') as yfile:
yaml_data = yaml.load(yfile)

with open(json_file, 'w') as jfile:
if pretty:
json.dump(yaml_data, jfile, indent=2)
else:
json.dump(yaml_data, jfile)

# Пример использования
json_to_yaml('config.json', 'config.yaml')
yaml_to_json('config.yaml', 'config_new.json')

from ruamel.yaml import YAML
from jsonschema import validate

# Определяем схему валидации
schema = {
"type": "object",
"required": ["app", "database"],
"properties": {
"app": {
"type": "object",
"required": ["name", "version"],
"properties": {
"name": {"type": "string"},
"version": {"type": "string"}
}
},
"database": {
"type": "object",
"required": ["host", "port"],
"properties": {
"host": {"type": "string"},
"port": {"type": "integer"}
}
}
}
}

# Загружаем YAML для валидации
yaml = YAML(typ='safe')
with open('config.yaml', 'r') as file:
config = yaml.load(file)

# Проверяем соответствие схеме
try:
validate(instance=config, schema=schema)
print("Конфигурация валидна! ✅")
except Exception as e:
print(f"Ошибка валидации: {e} ❌")