Скачать Парсинг API на Python [Stepik] [Павел Хошев]

[Dozhd]

Складчина: Парсинг API на Python [Stepik] [Павел Хошев]



В основе курса лежит stepstat.ru - учебный сайт-тренажёр и одновременно живое веб-приложение, которое
собирает данные о курсах Stepik. На протяжении курса вы будете работать с его API: получать карточки курсов, рейтинги, отзывы, промокоды, статистику, команды авторов, поисковые логи и другие данные.

Мы сделали курс максимально практическим. Теория здесь нужна не для галочки, а чтобы вы не тыкались в API вслепую. Квизы тоже будут, но без фанатизма: ровно столько, чтобы закрепить важные идеи и не дать теории улететь из головы сразу после прочтения.

Чему вы научитесь:

уверенно читать документацию API и понимать, какие эндпоинты, параметры и форматы ответов вам нужны;
отправлять GET и POST запросы через requests, передавать params, headers, cookies и таймауты;
работать с объектом Response: проверять статус-коды, заголовки, тело ответа и Content-Type;
разбирать JSON-ответы, ходить по вложенным структурам и не падать на null, пустых списках и неожиданных типах;
приводить данные API к нормальному виду: даты, цены, рейтинги, списки, вложенные поля;
сохранять результат в JSON и CSV так, чтобы его можно было использовать дальше;
строить запросы с query- и path-параметрами, проходить пагинацию, делать batch-запросы и учитывать rate limiting;
использовать Session, ретраи и HTTP-адаптеры для более устойчивого парсинга;
работать с API Key, Bearer Token, JWT, Basic Auth и cookie-сессиями;
понимать, как работает сжатие HTTP-ответов: gzip, deflate, br, zstd;
подключать прокси к requests, проверять их и понимать базовые стратегии ротации.
В курсе есть:

вводный модуль про API, REST и документацию;
модуль по requests: установка, первый запрос, Response, коды ответов, заголовки, cookies;
большой модуль по JSON: вложенные структуры, даты, деньги, ошибки .json(), нормализация, JSON/CSV, flatten;
модуль про точную настройку запроса: query/path-параметры, пагинация, batch, rate limiting, сессии и адаптеры;
модуль про авторизацию API: API Key, Bearer/JWT, Basic Auth, cookies, OAuth и хранение токенов;
модуль про сжатие HTTP-ответов;
модуль про прокси и ротацию(в разработке).
Программа:

Введение

Введение
Содержание
Что такое API
Как работает современный API
Что такое RESTful API и чем он нам полезен
Изучение документации /docs
Основы requests.

API на пальцах: что это и зачем
Установка и импорт
Сигнатура метода GET и POST
Объект Response
Коды ответов HTTP
Точка входа в API
Фильтруем выдачу
Договариваемся с сервером
Предъяви своё печенье
Работа с JSON-ответами API.

Введение
Синтаксис JSON и маппинг типов
Навигация по структуре JSON
Типы данных API: даты, цены, числа и null
response.json() и ошибки
Нормализация ответа
Сохраняем результат в JSON
Сохраняем результат в CSV
Flatten: расплющиваем вложенные структуры
Точная настройка запроса.

Query-параметры
Path-параметры
Комбинированные запросы
Пагинация в API
Batch-запросы
Rate limiting - ограничение на количество запросов
Работа с сессиями
HTTP Адаптеры
Авторизация API.

Введение в авторизацию API
Bearer, API key, Basic Auth
API Key
Bearer Token и JWT
Basic Auth
Cookie и сессии
OAuth 2.0
Безопасное хранение ключей и токенов

Сжатие HTTP-ответов.
Введение: зачем сжатие и когда оно важно
Зачем использовать сжатие?
deflate базовый алгоритм
gzip проверенная классика
br современный выбор
zstd новейший алгоритм
Обратная сторона: CPU vs сеть
Сравнение алгоритмов: когда что выбрать
Прокси.

Введение 2.0
Введение
Proxies
Используем прокси
Серверные прокси
Резидентские прокси
Мобильные прокси
Стратегии ротации прокси
Это конец.

Куда дальше?
Цена 6900 руб.




СКАЧАТЬ

Для просмотра скрытого содержимого вы должны зарегистрироваться