Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
El panorama de amenazas en IA
- Por qué la seguridad de IA es diferente: no determinismo, razonamiento opaco, el prompt como superficie de ataque.
- Taxonomía de ataques: en tiempo de entrenamiento vs. en tiempo de inferencia vs. ataques a la cadena de suministro.
- Modelo del adversario en ML: quién ataca los sistemas de IA y por qué.
10 principales de OWASP para aplicaciones LLM
- Inyección de prompts: vectores de ataque directos e indirectos.
- Manejo inseguro de salidas y falsificación de solicitudes entre plugins.
- Envenenamiento de datos de entrenamiento y vulnerabilidades en la cadena de suministro.
- Denegación de servicio del modelo, divulgación de información sensible y agencia excesiva.
- Laboratorio práctico: explotación de cada categoría de OWASP contra una aplicación de prueba.
Red Teaming de inyección de prompts y jailbreak
- Taxonomía de técnicas de inyección: directa, indirecta, multi-turno y multimodal.
- Automatización del red teaming con Giskard, Garak y herramientas de fuzzing personalizadas.
- Clasificación de jailbreaks y evaluación de defensas.
- Construcción de una plataforma (harness) para el red teaming y la prueba continua de seguridad en LLM.
Ataques y defensas a nivel de modelo
- Extracción de modelos: robo de pesos y funcionalidad del modelo mediante consultas de API.
- Inferencia de pertenencia: determinar si los datos formaron parte del conjunto de entrenamiento.
- Ejemplos adversarios: perturbaciones que engañan a clasificadores y embedings (incrustaciones).
- Envenenamiento de datos: corrupción de los datos de entrenamiento para inducir backdoors o degradar el rendimiento.
Controles de seguridad de entrada y salida
- Saneamiento de entradas más allá de las defensas web tradicionales.
- Filtrado de salidas: toxicidad, fuga de información personal identificable (PII) y ejecución de código alucinado.
- Cercas de seguridad (guardrails) como infraestructura de seguridad: NeMo, Guardrails AI y políticas personalizadas.
- Aplicación estricta de salidas estructuradas como límite de seguridad.
Seguridad de la cadena de suministro en IA
- Origen del modelo: verificación de la autenticidad e integridad del modelo.
- Escaneo de dependencias para frameworks de ML y formatos de modelos.
- Servicio seguro de modelos: sandboxing, aislamiento de red y acceso de mínimo privilegio.
- Evaluación de modelos ajustados (fine-tuned) y comunitarios para malware integrado.
Seguridad operativa para sistemas de IA
- Control de acceso para endpoints de modelos, almacenes vectoriales y herramientas de agentes.
- Registros de auditoría (logging) para cada interacción y decisión del modelo.
- Respuesta a incidentes para violaciones específicas de IA: cuando el propio modelo está comprometido.
- Pruebas de seguridad continuas en CI/CD para pipelines de ML.
Construcción de un programa de seguridad de IA
- Modelo de madurez y hoja de ruta para la seguridad de IA.
- Integración de la seguridad de IA en programas existentes de AppSec y seguridad en la nube.
- Marcos de gobernanza y regulaciones emergentes para sistemas de IA.
- Creación y mantenimiento de un manual de seguridad de IA organizacional.
Requerimientos
- Experiencia desplegando modelos de ML o aplicaciones LLM en producción.
- Conocimiento de conceptos de seguridad, incluidos autenticación, autorización y modelado de amenazas.
- Competencia en Python para ejercicios de pruebas adversarias.
Público objetivo
- Ingenieros de seguridad que se expanden hacia las superficies de amenaza de IA/ML.
- Ingenieros de ML responsables de la seguridad y robustez de los modelos.
- Miembros de equipos de red teaming que incorporan sistemas de IA en su ámbito de pruebas.
14 Horas
