Temario del curso
Introducción al red teaming de IA
- Comprensión del panorama de amenazas en IA
- Funciones de los equipos de red team en la seguridad de la IA
- Consideraciones éticas y legales
Aprendizaje automático adversario
- Tipos de ataques: evasión, envenenamiento, extracción e inferencia
- Generación de ejemplos adversarios (por ejemplo, FGSM, PGD)
- Ataques dirigidos vs. no dirigidos y métricas de éxito
Pruebas de robustez de modelos
- Evaluación de la robustez ante perturbaciones
- Exploración de puntos ciegos del modelo y modos de fallo
- Pruebas de estrés en modelos de clasificación, visión y procesamiento de lenguaje natural (NLP)
Red teaming de pipelines de IA
- Superficie de ataque de los pipelines de IA: datos, modelo, despliegue
- Explotación de APIs y puntos de acceso inseguros de modelos
- Ingeniería inversa del comportamiento y resultados del modelo
Simulación y herramientas
- Uso de la Adversarial Robustness Toolbox (ART)
- Red teaming con herramientas como TextAttack e IBM ART
- Herramientas de aislamiento, monitoreo y observabilidad
Estrategia de red team de IA y colaboración defensiva
- Desarrollo de ejercicios y objetivos de red team
- Comunicación de hallazgos a los equipos de defensa (blue teams)
- Integración del red teaming en la gestión de riesgos de IA
Resumen y siguientes pasos
Requerimientos
- Comprensión de las arquitecturas de aprendizaje automático y aprendizaje profundo
- Experiencia con Python y frameworks de ML (por ejemplo, TensorFlow, PyTorch)
- Familiaridad con conceptos de ciberseguridad o técnicas de seguridad ofensiva
Público objetivo
- Investigadores de seguridad
- Equipos de seguridad ofensiva
- Profesionales de aseguramiento de IA y equipos de red team
Testimonios (2)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
El conocimiento profesional y la forma en que lo presentó ante nosotros
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Traducción Automática