Python: 10 библиотек, которые ускорят вашу разработку в разы

import pandas as pd

# Загрузка данных из CSV-файла
df = pd.read_csv('sales_data.csv')

# Вывод первых 5 строк для ознакомления
print(df.head())

# Базовая статистика по числовым колонкам
print(df.describe())

# Проверка наличия пропущенных значений
print(df.isnull().sum())

# Фильтрация данных по условию
high_value_sales = df[df['amount'] > 1000]

# Группировка по категории товара и вычисление суммы продаж
category_sales = df.groupby('category')['amount'].sum().sort_values(ascending=False)

# Вывод топ-5 категорий по продажам
print(category_sales.head(5))

# Создание сводной таблицы: категории по строкам, месяцы по столбцам, суммы продаж в ячейках
pivot_table = df.pivot_table(
values='amount',
index='category',
columns='month',
aggfunc='sum',
fill_value=0
)

# Преобразование столбца с датами в формат datetime
df['date'] = pd.to_datetime(df['date'])

# Установка индекса на столбец с датами
df.set_index('date', inplace=True)

# Ресемплинг данных по месяцам с суммированием продаж
monthly_sales = df['amount'].resample('M').sum()

# Построение графика временного ряда
monthly_sales.plot(figsize=(12, 6))
plt.title('Ежемесячные продажи')
plt.ylabel('Объем продаж')
plt.grid(True)
plt.show()

import matplotlib.pyplot as plt
import numpy as np

# Создание данных для визуализации
x = np.linspace(0, 10, 100)
y1 = np.sin(x)
y2 = np.cos(x)

# Создание составной диаграммы с несколькими графиками
fig, (ax1, ax2, ax3) = plt.subplots(3, 1, figsize=(10, 10), sharex=True)

# Линейный график на первой оси
ax1.plot(x, y1, 'b-', linewidth=2)
ax1.set_ylabel('sin(x)')
ax1.set_title('Многоуровневая визуализация с Matplotlib')

# График с заполнением на второй оси
ax2.fill_between(x, 0, y2, alpha=0.5)
ax2.set_ylabel('cos(x)')

# Столбчатая диаграмма на третьей оси
ax3.bar(x[::10], y1[::10], width=0.4, alpha=0.7)
ax3.set_xlabel('x')
ax3.set_ylabel('sin(x) выборочно')

# Настройка общего вида
plt.tight_layout()
plt.show()

import matplotlib.pyplot as plt
import numpy as np

# Создание корреляционной матрицы
data = np.random.rand(10, 10)
corr_matrix = np.corrcoef(data)

# Создание тепловой карты
plt.figure(figsize=(10, 8))
plt.imshow(corr_matrix, cmap='coolwarm', interpolation='none')
plt.colorbar(label='Коэффициент корреляции')

# Добавление подписей и сетки
plt.title('Тепловая карта корреляций', fontsize=15)
plt.xticks(np.arange(10), [f'F{i}' for i in range(10)])
plt.yticks(np.arange(10), [f'F{i}' for i in range(10)])
plt.grid(False)

# Добавление значений внутри ячеек
for i in range(10):
for j in range(10):
plt.text(j, i, f'{corr_matrix[i, j]:.2f}', 
ha='center', va='center', 
color='white' if abs(corr_matrix[i, j]) > 0.5 else 'black')

plt.tight_layout()
plt.show()

import numpy as np
import time

# Сравнение скорости: Python список vs NumPy массив
size = 1000000

# Python список
start = time.time()
py_list = list(range(size))
result_list = [x**2 for x in py_list]
py_time = time.time() – start

# NumPy массив
start = time.time()
np_array = np.arange(size)
result_array = np_array**2
np_time = time.time() – start

print(f"Python список: {py_time:.6f} сек")
print(f"NumPy массив: {np_time:.6f} сек")
print(f"Ускорение: {py_time/np_time:.2f}x")

import numpy as np

# Создание матриц
A = np.array([[3, 1], [1, 2]])
B = np.array([[1, 2], [3, 4]])

# Основные операции линейной алгебры
print("Матричное умножение A*B:")
print(np.dot(A, B)) # или A @ B в Python 3.5+

print("\nОпределитель матрицы A:")
print(np.linalg.det(A))

print("\nОбратная матрица A^-1:")
print(np.linalg.inv(A))

print("\nСобственные значения и собственные векторы A:")
eigenvalues, eigenvectors = np.linalg.eig(A)
print("Собственные значения:", eigenvalues)
print("Собственные векторы:")
print(eigenvectors)

# Решение системы линейных уравнений Ax = b
b = np.array([9, 8])
x = np.linalg.solve(A, b)
print("\nРешение системы Ax = b:")
print(x)
print("Проверка:", A @ x) # Должно быть приблизительно равно b

import requests
from bs4 import BeautifulSoup
import pandas as pd
from datetime import datetime

# URL новостного сайта
url = 'https://news.example.com/technology'

# Отправка HTTP-запроса
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
response = requests.get(url, headers=headers)

# Проверка успешности запроса
if response.status_code == 200:
# Парсинг HTML
soup = BeautifulSoup(response.text, 'html.parser')

# Извлечение новостей (предположим, что они находятся в элементах с классом 'news-item')
news_items = soup.find_all('div', class_='news-item')

# Подготовка списка для хранения данных
news_data = []

# Извлечение информации из каждой новости
for item in news_items:
# Извлечение заголовка
title = item.find('h2').text.strip()

# Извлечение краткого описания
summary = item.find('p', class_='summary').text.strip()

# Извлечение URL новости
news_url = item.find('a')['href']
if not news_url.startswith('http'):
news_url = 'https://news.example.com' + news_url

# Извлечение даты публикации
date_str = item.find('span', class_='date').text.strip()
pub_date = datetime.strptime(date_str, '%Y-%m-%d %H:%M')

# Добавление данных в список
news_data.append({
'title': title,
'summary': summary,
'url': news_url,
'published': pub_date
})

# Создание DataFrame из собранных данных
news_df = pd.DataFrame(news_data)

# Сохранение в CSV
news_df.to_csv('tech_news.csv', index=False)

print(f"Собрано {len(news_data)} новостей и сохранено в tech_news.csv")
else:
print(f"Ошибка при запросе: {response.status_code}")

import requests
import json
import time

# API для получения данных о погоде
api_key = 'your_api_key' # Замените на ваш API-ключ
cities = ['London', 'New York', 'Tokyo', 'Moscow', 'Sydney']

# Функция для получения данных о погоде
def get_weather(city):
url = f'https://api.openweathermap.org/data/2.5/weather'
params = {
'q': city,
'appid': api_key,
'units': 'metric'
}

response = requests.get(url, params=params)

if response.status_code == 200:
return response.json()
else:
print(f"Ошибка для города {city}: {response.status_code}")
return None

# Сбор данных о погоде для каждого города
weather_data = []

for city in cities:
data = get_weather(city)
if data:
weather_data.append({
'city': city,
'temperature': data['main']['temp'],
'humidity': data['main']['humidity'],
'description': data['weather'][0]['description'],
'timestamp': time.strftime('%Y-%m-%d %H:%M:%S')
})
# Задержка для соблюдения ограничений API
time.sleep(1)

# Сохранение результатов в JSON
with open('weather_data.json', 'w', encoding='utf-8') as f:
json.dump(weather_data, f, indent=4, ensure_ascii=False)

print(f"Данные о погоде для {len(weather_data)} городов сохранены в weather_data.json")

from flask import Flask, request, jsonify
import sqlite3
import os

app = Flask(__name__)

# Путь к базе данных
DATABASE = 'tasks.db'

# Инициализация базы данных, если она не существует
def init_db():
if not os.path.exists(DATABASE):
conn = sqlite3.connect(DATABASE)
cursor = conn.cursor()
cursor.execute('''
CREATE TABLE tasks (
id INTEGER PRIMARY KEY AUTOINCREMENT,
title TEXT NOT NULL,
description TEXT,
completed BOOLEAN NOT NULL DEFAULT 0
)
''')
conn.commit()
conn.close()
print("База данных инициализирована")

# Вспомогательная функция для подключения к БД
def get_db():
conn = sqlite3.connect(DATABASE)
conn.row_factory = sqlite3.Row
return conn

# Маршрут для получения всех задач
@app.route('/tasks', methods=['GET'])
def get_tasks():
conn = get_db()
cursor = conn.cursor()
cursor.execute('SELECT * FROM tasks')
tasks = [dict(row) for row in cursor.fetchall()]
conn.close()
return jsonify({'tasks': tasks})

# Маршрут для создания новой задачи
@app.route('/tasks', methods=['POST'])
def create_task():
if not request.json or not 'title' in request.json:
return jsonify({'error': 'Title is required'}), 400

task = {
'title': request.json['title'],
'description': request.json.get('description', ''),
'completed': request.json.get('completed', False)
}

conn = get_db()
cursor = conn.cursor()
cursor.execute(
'INSERT INTO tasks (title, description, completed) VALUES (?, ?, ?)',
(task['title'], task['description'], task['completed'])
)
task_id = cursor.lastrowid
conn.commit()
conn.close()

task['id'] = task_id
return jsonify({'task': task}), 201

# Инициализация БД и запуск приложения
if __name__ == '__main__':
init_db()
app.run(debug=True)