Python-автоматизация: 5 способов избавиться от рутины навсегда

import pandas as pd
import os
import glob

# Путь к папке с CSV файлами
path = "data/reports/"

# Создаем объект Excel writer
excel_writer = pd.ExcelWriter('consolidated_report.xlsx', engine='xlsxwriter')

# Находим все CSV файлы в папке
all_files = glob.glob(os.path.join(path, "*.csv"))

# Словарь для хранения статистики
stats = {
'filename': [],
'rows': [],
'columns': [],
'missing_data_pct': []
}

# Обрабатываем каждый файл
for file in all_files:
# Извлекаем имя файла без расширения
base_name = os.path.basename(file).split('.')[0]

# Читаем CSV в DataFrame
df = pd.read_csv(file)

# Сохраняем на отдельный лист в Excel
df.to_excel(excel_writer, sheet_name=base_name[:31], index=False) # Excel ограничивает имя листа 31 символом

# Собираем статистику
stats['filename'].append(base_name)
stats['rows'].append(len(df))
stats['columns'].append(len(df.columns))
stats['missing_data_pct'].append((df.isnull().sum().sum() / (df.shape[0] * df.shape[1])) * 100)

# Создаем DataFrame со статистикой
stats_df = pd.DataFrame(stats)

# Добавляем общую статистику в итоговый Excel
stats_df.to_excel(excel_writer, sheet_name='Statistics', index=False)

# Сохраняем результат
excel_writer.save()

print(f"Обработано {len(all_files)} файлов. Результат сохранен в consolidated_report.xlsx")

import requests
from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
import time

# Настройка Selenium
chrome_options = Options()
chrome_options.add_argument("--headless") # Запуск Chrome в фоновом режиме
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service, options=chrome_options)

# Параметры поиска
search_query = "Python разработчик"
page_count = 3 # Количество страниц для сканирования

# Список для хранения результатов
jobs_data = []

# Перебор страниц с результатами
for page in range(page_count):
url = f"https://hh.ru/search/vacancy?text={search_query}&page={page}"
driver.get(url)

# Даем время на загрузку страницы (AJAX-контент)
time.sleep(3)

# Получаем HTML страницы после выполнения JavaScript
page_source = driver.page_source

# Используем Beautiful Soup для парсинга HTML
soup = BeautifulSoup(page_source, 'html.parser')

# Находим все карточки вакансий
vacancy_items = soup.find_all('div', {'class': 'vacancy-serp-item'})

# Извлекаем информацию из каждой карточки
for item in vacancy_items:
try:
# Название вакансии
title_element = item.find('a', {'class': 'serp-item__title'})
title = title_element.text.strip() if title_element else "Нет данных"

# Ссылка на вакансию
link = title_element['href'] if title_element else "Нет данных"

# Название компании
company_element = item.find('a', {'class': 'bloko-link bloko-link_kind-tertiary'})
company = company_element.text.strip() if company_element else "Нет данных"

# Зарплата
salary_element = item.find('span', {'class': 'bloko-header-section-3'})
salary = salary_element.text.strip() if salary_element else "Не указана"

# Локация
location_element = item.find('div', {'data-qa': 'vacancy-serp__vacancy-address'})
location = location_element.text.strip() if location_element else "Не указана"

# Добавляем в список результатов
jobs_data.append({
'Название': title,
'Компания': company,
'Зарплата': salary,
'Локация': location,
'Ссылка': link
})

except Exception as e:
print(f"Ошибка при обработке вакансии: {e}")

print(f"Обработана страница {page + 1}")

# Закрываем браузер
driver.quit()

# Сохраняем результаты в Excel
df = pd.DataFrame(jobs_data)
df.to_excel('python_jobs.xlsx', index=False)

print(f"Сохранено {len(jobs_data)} вакансий в файл python_jobs.xlsx")

import schedule
import time
import pandas as pd
import datetime
import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText
from email.mime.application import MIMEApplication

def generate_daily_report():
"""Генерирует ежедневный отчет по продажам"""
print(f"Создание отчета... {datetime.datetime.now()}")

# Предположим, что у нас есть данные в CSV-файле
df = pd.read_csv('sales_data.csv')

# Фильтрация по вчерашней дате
yesterday = datetime.datetime.now() – datetime.timedelta(days=1)
yesterday_str = yesterday.strftime('%Y-%m-%d')

daily_sales = df[df['date'] == yesterday_str]

# Расчет статистики
total_revenue = daily_sales['revenue'].sum()
avg_order_value = daily_sales['revenue'].mean()
top_product = daily_sales.groupby('product')['quantity'].sum().idxmax()

# Создание отчета
report_df = pd.DataFrame({
'Метрика': ['Общая выручка', 'Средний чек', 'Самый продаваемый товар'],
'Значение': [f"${total_revenue:.2f}", f"${avg_order_value:.2f}", top_product]
})

# Сохранение отчета
report_filename = f"sales_report_{yesterday_str}.xlsx"
report_df.to_excel(report_filename, index=False)

# Отправка отчета по email
send_email(report_filename, yesterday_str)

return report_filename

def send_email(attachment_path, date_str):
"""Отправляет email с отчетом"""
sender_email = "your_email@gmail.com"
receiver_email = "manager@company.com"
password = "your_app_password" # Используйте app passwords для Gmail

# Создание сообщения
msg = MIMEMultipart()
msg['From'] = sender_email
msg['To'] = receiver_email
msg['Subject'] = f"Ежедневный отчет по продажам за {date_str}"

# Текст сообщения
body = f"Добрый день,\n\nВо вложении ежедневный отчет по продажам за {date_str}.\n\nС уважением,\nВаш скрипт автоматизации"
msg.attach(MIMEText(body, 'plain'))

# Прикрепление файла
with open(attachment_path, 'rb') as file:
attachment = MIMEApplication(file.read(), _subtype='xlsx')
attachment.add_header('Content-Disposition', 'attachment', filename=attachment_path)
msg.attach(attachment)

# Отправка email
try:
server = smtplib.SMTP('smtp.gmail.com', 587)
server.starttls()
server.login(sender_email, password)
server.send_message(msg)
server.quit()
print(f"Email успешно отправлен на {receiver_email}")
except Exception as e:
print(f"Ошибка при отправке email: {e}")

# Планируем задачу на каждое утро в 7:30
schedule.every().day.at("07:30").do(generate_daily_report)

# Дополнительно можно запланировать еженедельный отчет
def weekly_summary():
print("Создание еженедельного сводного отчета...")
# Логика для еженедельного отчета

schedule.every().monday.at("08:00").do(weekly_summary)

# Запускаем бесконечный цикл для проверки запланированных задач
while True:
schedule.run_pending()
time.sleep(60) # Проверка раз в минуту

import pyautogui
import time
import os
import logging
from datetime import datetime

# Настройка логирования
logging.basicConfig(
filename='file_processor_bot.log',
level=logging.INFO,
format='%(asctime)s – %(levelname)s – %(message)s'
)

# Константы
INPUT_FOLDER = "C:/input_files"
OUTPUT_FOLDER = "C:/processed_files"
CONFIDENCE_THRESHOLD = 0.8 # Порог уверенности для поиска изображений

def wait_for_image(image_path, timeout=30, confidence=CONFIDENCE_THRESHOLD):
"""Ожидает появления изображения на экране"""
start_time = time.time()
while time.time() – start_time < timeout:
location = pyautogui.locateOnScreen(image_path, confidence=confidence)
if location:
return location
time.sleep(0.5)
return None

def process_file(file_path):
"""Обрабатывает один файл в программе"""
try:
logging.info(f"Начало обработки файла: {file_path}")

# Открываем программу (предполагается, что она уже запущена)
# Нажимаем сочетание клавиш для открытия файла
pyautogui.hotkey('ctrl', 'o')
time.sleep(1)

# Ждем появления диалога открытия файла
dialog = wait_for_image('images/open_dialog.png')
if not dialog:
logging.error("Не удалось найти диалог открытия файла")
return False

# Вводим путь к файлу
pyautogui.write(file_path)
pyautogui.press('enter')
time.sleep(2)

# Проверяем, что файл открылся
file_opened = wait_for_image('images/file_opened_indicator.png')
if not file_opened:
logging.error("Не удалось открыть файл")
return False

# Выполняем последовательность действий обработки
# Например, нажимаем кнопку "Process" на интерфейсе
process_button = wait_for_image('images/process_button.png')
if process_button:
pyautogui.click(process_button)
time.sleep(5) # Ждем обработки

# Сохраняем результат
pyautogui.hotkey('ctrl', 's')
time.sleep(1)

# Ждем диалог сохранения
save_dialog = wait_for_image('images/save_dialog.png')
if save_dialog:
# Формируем имя выходного файла
base_name = os.path.basename(file_path)
output_path = os.path.join(OUTPUT_FOLDER, f"processed_{base_name}")
pyautogui.write(output_path)
pyautogui.press('enter')
time.sleep(1)

# Закрываем файл
pyautogui.hotkey('ctrl', 'w')
time.sleep(1)

logging.info(f"Файл успешно обработан: {file_path}")
return True

except Exception as e:
logging.error(f"Ошибка при обработке файла {file_path}: {str(e)}")
# Аварийное восстановление – нажимаем Escape несколько раз
for _ in range(3):
pyautogui.press('escape')
time.sleep(0.5)
return False

def main():
"""Основная функция бота"""
logging.info("Запуск бота для обработки файлов")

# Безопасность: установка паузы между действиями и горячих клавиш для остановки
pyautogui.PAUSE = 0.5
pyautogui.FAILSAFE = True # Перемещение мыши в верхний левый угол экрана остановит скрипт

# Проверяем папки
if not os.path.exists(OUTPUT_FOLDER):
os.makedirs(OUTPUT_FOLDER)

# Получаем список файлов для обработки
files_to_process = [os.path.join(INPUT_FOLDER, f) for f in os.listdir(INPUT_FOLDER) 
if f.endswith('.xlsx') or f.endswith('.csv')]

if not files_to_process:
logging.info("Нет файлов для обработки")
return

logging.info(f"Найдено {len(files_to_process)} файлов для обработки")

# Открываем программу (замените на реальный путь)
# os.startfile("C:/Program Files/YourApplication/app.exe")
# time.sleep(5) # Ждем запуска программы

# Обрабатываем каждый файл
successful = 0
failed = 0

for file_path in files_to_process:
if process_file(file_path):
successful += 1
else:
failed += 1

logging.info(f"Обработка завершена. Успешно: {successful}, С ошибками: {failed}")

if __name__ == "__main__":
main()