Скачать LLM и API Security: буткемп по тестированию безопасности AI [Udemy] [Bayt Al Hikmah]

[Dozhd]

LLM и API Security: буткемп по тестированию безопасности AI


Оригинальное название: LLM & API Security: AI Penetration Testing Bootcamp

Автор / школа: Bayt Al Hikmah
Платформа: Udemy
Язык продукта: английский
Последнее обновление курса: сентябрь 2026 года


О курсе

Практический курс по комплексной безопасности приложений на базе больших языковых моделей и AI-систем.

Обучение построено вокруг 100 последовательных лабораторных работ, в которых участник самостоятельно создаёт локальную инфраструктуру для тестирования LLM-приложений, исследует её уязвимости, внедряет защитные механизмы и проверяет их эффективность.

Курс охватывает не только Prompt Injection, но и безопасность API, RAG, векторных баз данных, AI-агентов, MCP, цепочки поставок, CI/CD, Kubernetes, мониторинг, реагирование на инциденты и AI Red Teaming.

Практика выполняется в локальной, специально созданной и намеренно уязвимой среде.


Материалы курса

• 12 разделов
• 112 лекций
• Общая продолжительность — 26 часов 56 минут
• 100 последовательных практических лабораторных работ
• Практика с FastAPI
• Практика с Docker
• Практика с Python
• Работа с локальным LLM-шлюзом
• OWASP LLM Top 10
• MITRE ATLAS
• RAG Security
• API Security
• Agentic AI Security
• MCP Security
• AI Red Teaming
• Kubernetes Security
• Supply Chain Security
• Практический итоговый проект


Чему вы научитесь

• Проектировать и разворачивать полноценный стенд для тестирования безопасности LLM-приложений с использованием FastAPI и Docker

• Определять поверхность атаки LLM-приложений, границы доверия и риски OWASP LLM Top 10
• Строить модели угроз с учётом MITRE ATLAS
• Проводить тестирование прямых и косвенных Prompt Injection
• Исследовать утечки системных промптов
• Выявлять небезопасную обработку выходных данных AI
• Реализовывать аутентификацию API
• Работать с API-ключами и JWT
• Настраивать изоляцию пользователей и арендаторов
• Реализовывать Rate Limiting для защиты LLM API от неконтролируемого потребления ресурсов
• Создавать и защищать RAG-конвейеры
• Работать с embeddings и векторными хранилищами
• Исследовать Retrieval Poisoning
• Защищать AI-агентов и используемые ими инструменты
• Применять принцип минимальных привилегий для AI-инструментов
• Использовать механизмы подтверждения действий человеком
• Проводить анализ безопасности Model Context Protocol (MCP)
• Автоматизировать AI Red Teaming
• Работать с garak и PyRIT
• Создавать собственные механизмы фаззинга AI-приложений
• Интегрировать тестирование безопасности AI в CI/CD
• Анализировать безопасность контейнеров и цепочек поставок
• Использовать Trivy, Syft, Grype и Cosign
• Разворачивать защищённые AI-нагрузки в Kubernetes
• Проектировать мониторинг и аудит LLM-систем
• Создавать сценарии реагирования на инциденты
• Контролировать злоупотребление вычислительными ресурсами и стоимостью LLM


Программа курса

Модуль 1. Основы и создание локальной среды
• Подготовка локальной лаборатории для исследования LLM Security
• Создание управляющих скриптов
• Создание минимального LLM API Gateway на FastAPI
• Контейнеризация приложения
• Docker Compose
• Подключение локального Mock LLM
• Создание намеренно уязвимого Chat Endpoint
• Проведение первого контролируемого тестирования
• Создание Security Regression Test
• Исправление утечки системного промпта
• Подготовка воспроизводимого отчёта об уязвимости


Модуль 2. Поверхность атаки LLM и моделирование угроз
• Построение схемы потоков данных LLM-приложения
• Создание реестра рисков OWASP LLM
• Сопоставление техник с MITRE ATLAS
• Создание OpenAPI-контракта
• Исследование поверхности API
• Определение сценариев злоупотребления LLM API
• Построение модели угроз
• Определение границ доверия
• Оценка вероятности и воздействия уязвимостей
• Создание плана тестирования безопасности
• Архитектурный анализ системы


Модуль 3. Prompt Injection, обработка вывода и утечки данных
• Тестирование Direct Prompt Injection
• Тестирование Indirect Prompt Injection
• Prompt Injection через полученные системой документы
• Фильтрация результатов работы LLM
• Принудительное использование структурированного JSON
• Исследование небезопасного Markdown и HTML
• Ограничение длины и состава входных данных
• Проверка утечек персональной информации
• Удаление PII из журналов
• Проверка стабильности отказов модели
• Комплексное тестирование Prompt и Output Security


Модуль 4. API Security, идентификация и авторизация
• Аутентификация через API Key
• Проверка отсутствующих и недействительных учётных данных
• Безопасное хранение секретов
• Перенос секретов в переменные окружения
• Проверка JWT
• Проектирование Tenant Isolation
• OpenAPI Security Schemes
• Rate Limiting
• Защита от Unbounded Consumption
• Добавление Audit ID к запросам и ответам
• Безопасная обработка ошибок авторизации
• Комплексная проверка API Security


Модуль 5. RAG, embeddings, векторные базы и управление данными
• Создание локального конвейера загрузки документов
• Добавление метаданных
• Отслеживание источников данных
• Развёртывание локального Vector Store
• Создание тестовой функции Embedding
• Tenant Isolation в Vector Store
• Имитация Retrieval Poisoning
• Allowlist доверенных источников
• Удаление и хранение данных
• Аудит RAG-запросов
• Комплексное тестирование безопасности RAG


Модуль 6. AI-агенты, инструменты и MCP
• Создание безопасного реестра инструментов
• Проверка схем инструментов
• Least Privilege для Tool Calls
• Подтверждение человеком действий среднего риска
• Имитация Tool Poisoning
• Анализ безопасности Model Context Protocol
• Проектирование Sandboxed Tool Execution
• Исследование загрязнения памяти AI-агента
• Аудит действий агента
• Комплексная проверка Agentic AI Security


Модуль 7. Автоматизированный AI Red Teaming и Fuzzing
• Установка garak
• Создание локальной цели для garak
• Установка PyRIT
• Контролируемое тестирование AI-рисков
• Создание собственного Prompt Fuzzing Harness
• Оценка результатов тестирования
• Создание Regression Corpus
• Интеграция тестирования в CI
• Создание Evaluation Dashboard
• Анализ False Positive и False Negative
• Комплексный Automated Red Teaming


Модуль 8. Безопасность платформы, цепочки поставок и CI/CD
• Сканирование контейнеров с Trivy
• Создание SBOM с Syft
• Проверка SBOM с Grype
• Подписание контейнерных образов с Cosign
• SLSA-подходы к безопасности сборки
• Развёртывание локального Kubernetes с kind
• Kubernetes Manifest Security
• Политики Kubernetes
• Kyverno и Gatekeeper
• Проектирование Workload Identity
• SPIFFE / SPIRE
• Комплексная проверка Supply Chain Security


Модуль 9. Мониторинг, реагирование на инциденты и надёжность
• Структурированные Security Logs
• OpenTelemetry
• Метрики для LLM Security Operations
• Тестирование злоупотребления стоимостью AI
• Создание правил оповещения
• LLM Security Incident Playbook
• Защита от отказов Model Gateway
• Chaos Testing
• Проверка резервного копирования
• Проверка восстановления данных
• Комплексное тестирование операционной устойчивости


Практический подход
Курс построен практически полностью вокруг самостоятельной работы.

Каждая лаборатория включает:

• предварительную проверку среды
• создание контрольного состояния
• реализацию механизма
• проверку результата
• возможность отката изменений
• анализ ошибок
• исправление найденной уязвимости
• повторную проверку безопасности

Практика постепенно усложняется: от создания простого локального LLM Gateway до построения полноценной архитектуры безопасности AI-приложения.


Используемые технологии и инструменты

• Python
• FastAPI
• Docker
• Docker Compose
• Git
• OpenAPI
• JWT
• RAG
• Embeddings
• Vector Stores
• Qdrant
• MCP
• garak
• PyRIT
• Trivy
• Syft
• Grype
• Cosign
• Kubernetes
• kind
• Kyverno
• Gatekeeper
• SPIFFE
• SPIRE
• OpenTelemetry


Итоговый проект

Финальная часть программы — Lab 100.

Вместо обычного теста студент создаёт полноценный пакет доказательств проведённого тестирования безопасности.

В итоговый проект входят:

• архитектурная документация
• результаты тестирования
• модель угроз
• данные об обнаруженных проблемах
• подтверждение внедрённых средств защиты
• матрица соответствия требованиям
• результаты Security Regression Tests
• итоговый отчёт по рискам
• контрольная SHA-256 сумма проекта

В результате формируется практическая работа, которую можно использовать для демонстрации навыков AI Security.


Требования
• Базовые навыки работы с командной строкой
• Умение запускать команды и перемещаться между каталогами
• Базовое знание Python: переменные, функции и простые скрипты
• Предварительный опыт работы с FastAPI не требуется
• Предварительный опыт API Security не требуется
• Сертификация по информационной безопасности не требуется
• Компьютер с macOS, Linux либо Windows с WSL2
• Не менее 8 ГБ оперативной памяти
• Для модулей Kubernetes и Vector Store рекомендуется 16 ГБ оперативной памяти
• Не менее 15 ГБ свободного места на диске
• Docker Desktop либо Docker Engine
• Git
• Python версии 3.11 или новее

Облачная учётная запись и платные API-ключи не требуются.

Все лабораторные работы выполняются локально на специально созданной тестовой системе.


Для кого предназначен курс
• Специалисты Application Security
• Пентестеры
• Специалисты по тестированию веб-приложений и REST API, желающие перейти к AI Security
• Backend-разработчики
• Platform Engineers
• Разработчики LLM-приложений
• Разработчики чат-ботов и AI Copilot
• Разработчики агентных AI-систем
• Специалисты AI Red Team
• AI Security Engineers
• Platform Security Engineers
• Специалисты по информационной безопасности, желающие получить практический опыт LLM Security
• Студенты и специалисты, планирующие карьеру в AI Security


Особенности курса

Курс не ограничивается демонстрацией отдельных Jailbreak или Prompt Injection.

Основная задача — научить комплексно исследовать архитектуру LLM-приложения:

• API Gateway
• слой аутентификации и авторизации
• RAG
• Vector Store
• AI Tools
• Agentic Workflows
• MCP
• контейнерную инфраструктуру
• CI/CD
• Kubernetes
• аудит и журналирование
• реагирование на инциденты

К концу обучения студент должен уметь не только находить уязвимости, но и исправлять их, создавать автоматизированные проверки и подтверждать эффективность реализованных мер защиты.


Стоимость: 1150 рублей



Спойлер: Оригинальное описание на английском языке
LLM & API Security: AI Penetration Testing Bootcamp

From prompt-injection novice to production AI security engineer: build, test, and harden 100 real-world LLM labs.


What you'll learn

• Architect and deploy a full LLM application security range using FastAPI, Docker, and a mock LLM gateway from scratch.

• Map LLM attack surfaces, trust boundaries, and OWASP LLM Top 10 risks using MITRE ATLAS-aligned threat models.

• Execute and defend against direct and indirect prompt injection, system prompt leakage, and unsafe output rendering.

• Implement API authentication, JWT validation, tenant isolation, and rate limiting to stop unbounded LLM abuse.

• Build and secure a RAG pipeline: ingestion, embeddings, vector stores, metadata filtering, and retrieval poisoning defenses.

• Design least-privilege agentic tool systems with approval gates, sandboxing, and Model Context Protocol security reviews.

• Automate AI red teaming with garak, PyRIT, and custom fuzzing harnesses wired into CI-compatible security gates.

• Harden the software supply chain with Trivy scans, Syft SBOMs, Grype checks, and Cosign image signing plans.

• Deploy hardened workloads to Kubernetes with kind, admission policies, and SPIFFE/SPIRE workload identity design.

• Engineer observability, incident response, and cost-abuse controls, then ship a sovereign, audit-ready capstone system.


Course content

12 sections
112 lectures
26h 56m total length
100 sequential hands-on labs


Requirements

Basic comfort with the command line — running commands and navigating directories.

Working knowledge of Python fundamentals including variables, functions and basic scripting.

You do not need prior FastAPI or API experience. These topics are taught inside the labs.

A computer running macOS, Linux, or Windows with WSL2.

At least 8GB RAM. 16GB is recommended for the Kubernetes and vector store modules.

At least 15GB of free disk space.

Docker Desktop or Docker Engine and Git installed and working.

Python 3.11 or newer installed locally.

No cloud account, paid API key or real production system is required. Every lab runs against a local, intentionally vulnerable target controlled by the student.


Description

This course contains the use of artificial intelligence.

The program is designed to bridge the gap between simply testing individual jailbreak prompts and performing a complete, defensible security assessment of a production-style LLM application.

The attack surface of modern LLM applications goes far beyond the chat interface. It includes the API gateway, identity layer, retrieval pipeline, tool registry, deployment pipeline and audit trail.

The course addresses these areas through 100 sequential hands-on laboratories.

Students begin by creating an authorized local LLM security range using FastAPI, a mock model adapter and a deliberately vulnerable chat endpoint.

The program then moves through OWASP LLM-aligned threat modeling and MITRE ATLAS mapping, prompt injection, output handling, PII protection, API security, JWT validation, tenant isolation and rate limiting.

Students build and attack a RAG pipeline using ingestion, embeddings, vector stores, retrieval poisoning simulations and source allowlisting.

Agentic AI security is covered through least-privilege tool scopes, human approval gates, sandboxed execution and Model Context Protocol security reviews.

Automated security testing is performed using garak, PyRIT and custom fuzzing tools integrated into CI-compatible security gates.

Supply chain security includes Trivy, Syft, Grype and Cosign.

Students deploy workloads to a local Kubernetes environment and study admission policies and SPIFFE/SPIRE workload identity.

The course also covers observability, incident response, chaos testing, backup and recovery.

The final Lab 100 produces an audit-ready evidence package containing architecture documentation, testing results, compliance evidence and an executive risk brief.


Who this course is for

• Application security engineers and penetration testers who already test traditional web applications and REST APIs but want to systematically test LLM-integrated systems.

• Backend and platform engineers building LLM-powered products such as chatbots, copilots, internal tools and agentic workflows.

• Security professionals and senior students preparing for AI Red Team, AI Security Engineer or Platform Security roles.

• Professionals who want practical experience with LLM Security, OWASP LLM Top 10 and MCP Security.






СКАЧАТЬ

Для просмотра скрытого содержимого вы должны зарегистрироваться