Управление файлами в Python: эффективные способы работы с FS

# Открытие файла
file = open('example.txt', 'r')

# Операции с файлом
content = file.read()

# Закрытие файла
file.close()

# Более безопасный способ
with open('example.txt', 'r') as file:
content = file.read()
# Файл будет автоматически закрыт при выходе из блока

# Открытие файла с указанием кодировки
with open('example.txt', 'r', encoding='utf-8') as file:
content = file.read()

with open('large_file.txt', 'r') as file:
for line in file: # Экономия памяти при работе с большими файлами
process_line(line)

import os

# Объединение путей (работает корректно на разных ОС)
full_path = os.path.join('directory', 'subdirectory', 'file.txt')

# Получение имени файла из пути
filename = os.path.basename('/path/to/file.txt') # 'file.txt'

# Получение директории
directory = os.path.dirname('/path/to/file.txt') # '/path/to'

# Проверка существования пути
exists = os.path.exists('/path/to/check')

# Абсолютный путь
abs_path = os.path.abspath('relative/path')

# Создание директории
os.mkdir('new_directory') # Создаёт одну директорию
os.makedirs('path/to/nested/directory', exist_ok=True) # Создаёт вложенные директории

# Переименование
os.rename('old_name.txt', 'new_name.txt')

# Удаление
os.remove('file_to_delete.txt') # Удаляет файл
os.rmdir('empty_directory') # Удаляет пустую директорию

# Получение текущей рабочей директории
current_dir = os.getcwd()

# Изменение текущей директории
os.chdir('/new/working/directory')

# Список файлов и директорий
contents = os.listdir('.')

# Более информативное перечисление с фильтрацией
for entry in os.scandir('.'):
if entry.is_file():
print(f'Файл: {entry.name}')
elif entry.is_dir():
print(f'Директория: {entry.name}')

# Рекурсивный обход
for root, dirs, files in os.walk('/start/path'):
for file in files:
print(os.path.join(root, file))

# Получение переменной окружения
home_dir = os.environ.get('HOME', '')

# Выполнение системной команды
exit_code = os.system('ls -l')

# Более гибкое выполнение команд
import subprocess
result = subprocess.run(['ls', '-l'], capture_output=True, text=True)
print(result.stdout)

from pathlib import Path

# Создание объектов пути
current_dir = Path('.')
file_path = Path('documents/report.txt')

# Объединение путей (гораздо удобнее чем os.path.join)
full_path = Path('documents') / 'reports' / 'annual.pdf'

# Получение компонентов пути
print(file_path.name) # 'report.txt'
print(file_path.stem) # 'report'
print(file_path.suffix) # '.txt'
print(file_path.parent) # Path('documents')

# Проверка существования и типа
if full_path.exists():
if full_path.is_file():
print("Это файл")
elif full_path.is_dir():
print("Это директория")

# Чтение и запись файлов
content = Path('data.txt').read_text(encoding='utf-8')
Path('output.txt').write_text('Hello, pathlib!', encoding='utf-8')

# Чтение бинарных данных
binary_data = Path('image.png').read_bytes()

# Создание директорий
Path('new_directory').mkdir(exist_ok=True)
Path('nested/folders/structure').mkdir(parents=True, exist_ok=True)

# Перечисление файлов и поиск
for file_path in Path('documents').glob('*.txt'):
print(file_path)

# Рекурсивный поиск файлов
for file_path in Path('project').rglob('*.py'):
print(file_path)

# Получение абсолютного пути
abs_path = Path('relative/path').absolute()

# Получение канонического пути (разрешает символические ссылки)
canon_path = Path('link/to/somewhere').resolve()

# Относительный путь
rel_path = Path('/absolute/path').relative_to('/absolute')

# Преобразование в строку
path_string = str(Path('file.txt'))

# Совместимость с os.path
import os
os_path = os.fspath(Path('file.txt'))

# Построчное чтение для больших файлов
with open('large_log.txt', 'r') as file:
for line in file:
process_line(line.strip())

# Запись с управлением буферизацией
with open('output.txt', 'w', buffering=1) as file:
# При buffering=1 буферизация построчная
file.write('Данные будут записаны сразу после каждой строки\n')

import csv

# Чтение CSV
with open('data.csv', 'r', newline='') as csvfile:
reader = csv.reader(csvfile)
for row in reader:
print(', '.join(row))

# Чтение в словари (используя заголовки)
with open('data.csv', 'r', newline='') as csvfile:
reader = csv.DictReader(csvfile)
for row in reader:
print(f"{row['name']} is {row['age']} years old")

# Запись CSV
with open('output.csv', 'w', newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['Name', 'Age', 'City'])
writer.writerow(['Alice', 30, 'New York'])
writer.writerow(['Bob', 25, 'Boston'])

import json

# Чтение JSON
with open('config.json', 'r') as f:
config = json.load(f)
print(f"Server: {config['server']}, Port: {config['port']}")

# Запись JSON
data = {
'name': 'John',
'age': 30,
'skills': ['Python', 'SQL', 'JavaScript']
}
with open('user.json', 'w') as f:
json.dump(data, f, indent=4) # indent для красивого форматирования

import xml.etree.ElementTree as ET

# Парсинг XML
tree = ET.parse('data.xml')
root = tree.getroot()

for child in root:
print(f"Tag: {child.tag}, Attributes: {child.attrib}")
for subelem in child:
print(f" {subelem.tag}: {subelem.text}")

# Создание XML
root = ET.Element("users")
user = ET.SubElement(root, "user", attrib={"id": "1"})
ET.SubElement(user, "name").text = "John"
ET.SubElement(user, "age").text = "30"

tree = ET.ElementTree(root)
tree.write("users.xml")

# Чтение бинарного файла
with open('image.png', 'rb') as f:
data = f.read()
# Обработка бинарных данных

# Запись бинарного файла
with open('copy.png', 'wb') as f:
f.write(data)

# Используя pandas
import pandas as pd

# Чтение Excel
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')
print(df.head())

# Запись Excel
df.to_excel('output.xlsx', sheet_name='Results', index=False)

import shutil

# Копирование файла с сохранением метаданных
shutil.copy2('source.txt', 'destination.txt')

# Копирование директории со всем содержимым
shutil.copytree('source_dir', 'dest_dir')

# Копирование с игнорированием определённых файлов
def ignore_patterns(path, names):
return [name for name in names if name.endswith('.tmp')]

shutil.copytree('source', 'dest', ignore=ignore_patterns)

# Перемещение файла или директории
shutil.move('source.txt', 'new/location/file.txt')

# Перемещение директории
shutil.move('source_dir', 'destination_dir')

# Удаление директории и всего её содержимого
shutil.rmtree('directory_to_remove')

# Удаление с обработкой ошибок
def handle_error(func, path, exc_info):
print(f"Ошибка при удалении {path}: {exc_info[1]}")

shutil.rmtree('path/to/dir', onerror=handle_error)

# Создание различных архивов
shutil.make_archive('archive_base_name', 'zip', 'directory_to_archive')
shutil.make_archive('backup', 'gztar', 'important_data')

# Поддерживаемые форматы: zip, tar, gztar, bztar, xztar

# Распаковка архива
shutil.unpack_archive('archive.zip', 'extract_dir')

# Свободное место на диске
total, used, free = shutil.disk_usage('/')
print(f"Всего: {total // (2**30)} ГБ")
print(f"Использовано: {used // (2**30)} ГБ")
print(f"Свободно: {free // (2**30)} ГБ")

import shutil
import os
from datetime import datetime
from pathlib import Path

def create_backup(source_dir, backup_base):
# Создаём имя резервной копии с датой
timestamp = datetime.now().strftime('%Y%m%d_%H%M%S')
backup_path = f"{backup_base}_{timestamp}"

# Копируем данные
print(f"Создаём резервную копию {source_dir} в {backup_path}")
shutil.copytree(source_dir, backup_path)

# Удаляем старые копии (оставляем только 5 последних)
backups = sorted([
d for d in Path(os.path.dirname(backup_base)).iterdir()
if d.is_dir() and d.name.startswith(os.path.basename(backup_base))
])

if len(backups) > 5:
for old_backup in backups[:-5]:
print(f"Удаляем старую копию: {old_backup}")
shutil.rmtree(old_backup)

return backup_path

# Использование
source = 'project_data'
backup = create_backup(source, 'backups/project_data_backup')
print(f"Резервная копия создана в {backup}")