Temario del curso
Módulo 1: Cómo fallan las aplicaciones de IA
Lab: ninguno — recorrido por la arquitectura y discusión
El modelo mental del creador frente a la superficie de ataque.
Temas:
- Arquitecturas LLM, RAG y agentes desde la perspectiva del desarrollador
- El ciclo de vida de solicitud/respuesta en una función de IA
- Flujo de prompts: mensajes de sistema, desarrollador, usuario y herramienta
- Dónde ingresan (y regresan) los datos no confiables al modelo
- Los límites de confianza que posee un desarrollador frente a los heredados
- Por qué los ataques a IA son semánticos, no sintácticos
- Relacionar las 10 principales amenazas de OWASP LLM con el código que escribes.
Llave clave: Cada lugar donde un texto no confiable llega al modelo — o la salida del modelo llega a tu código — es un límite que te corresponde gestionar.
Módulo 2: Inyección de prompts para creadores
Lab: Lab 01 - 01-Prompt-Injection
El «momento de la inyección SQL» para la IA — pero no puedes escapar totalmente de él.
Temas:
- Inyección directa vs. indirecta de prompts
- Instrucciones ocultas en documentos, páginas web y salidas de herramientas
- Jailbreaks y confusión de roles
- La importancia de separar instrucciones de datos
- Diseño defensivo de prompts (delimitadores, estructura, autoridad mínima)
- Por qué la prevención es parcial: diseña para contener
Manos a la obra:
- Ataca tu propio chatbot.
- Burla un filtro ingenuo.
- Reestructura el prompt para reducir su alcance de daño.
Módulo 3: Tratar la salida del modelo como no confiable
Lab: Lab 02 - 02-Output-Handling
La clase de errores que los desarrolladores subestiman más.
Temas:
- La salida del modelo como entrada no confiable para el resto de la aplicación.
- Manejo inseguro de salidas (LLM02): XSS, SSRF, inyección de comandos/SQL en flujos posteriores.
- Nunca uses eval/exec/render sobre la salida cruda del modelo.
- Salidas estructuradas y validación de esquemas.
- Codificación de salidas y listas permitidas.
- Renderizado seguro en contextos web/interfaz de usuario.
Manos a la obra:
- Encuentra y corrige una vulnerabilidad de manejo inseguro de salida.
- Haz cumplir un esquema JSON en las respuestas del modelo.
Módulo 4: Seguridad en RAG
Lab: Lab 03 - 03-RAG-Security
Una de las nuevas superficies de ataque más grandes — y está bajo tu construcción.
Temas:
- Amenazas en bases de datos vectoriales y recuperación de información.
- Sanitización durante la ingestión de datos.
- Procedencia de documentos y puntuación de confianza.
- Alcance de la recuperación y aislamiento de metadatos.
- Instrucciones ocultas en el contenido recuperado (inyección indirecta).
- Fuga de datos a través de la recuperación.
Manos a la obra: - Envenena un pipeline RAG con un documento malicioso - Añade sanitización en la ingestión y alcance en la recuperación para defenderlo.
Módulo 5: Seguridad de Agentes y Herramientas
Lab: Lab 04 - 04-Agent-Safety
Donde un error se convierte en una acción.
Temas:
- Agencia excesiva (LLM06) y abuso de herramientas.
- Menor privilegio para agentes.
- Listas permitidas de herramientas y validación de argumentos.
- Puertas de aprobación y intervención humana.
- Aislamiento (sandboxing) de la ejecución de herramientas.
- Credenciales limitadas y temporales para agentes.
- Limitación de bucles autónomos y encadenamientos.
Manos a la obra:
- Restringe un agente con permisos excesivos.
- Añade una lista permitida + puerta de aprobación a una herramienta peligrosa.
Módulo 6: Secretos, Identidad y Costos
Lab: Lab 05 - 05-Secrets-and-Cost
Los errores operativos que causan daño más rápidamente.
Temas:
- Gestión de claves API y secretos (nunca en prompts, código o registros).
- Autenticación y autorización por usuario para funciones de IA.
- Propagación de la identidad del usuario a herramientas y recuperación.
- Denegación de billetera: consumo ilimitado de tokens/costos.
- Límites de tasa, presupuestos de tokens y tiempos de espera.
- Registros (logging) sin filtrar secretos o información personal identificable (PII).
Manos a la obra:
- Saca los secretos del flujo de prompts/código.
- Añade límites de tasa por usuario y un presupuesto de tokens/costos.
Módulo 7: Bibliotecas de Guardrails (Controles)
Lab: Lab 06 - 06-Guardrails
Comprar vs. construir para la seguridad de entrada/salida.
Temas:
- Qué hacen y qué no hacen los marcos de guardrails.
- Guardrails de entrada: clasificadores de inyección/PII/temática.
- Guardrails de salida: validación, filtrado, comprobación de veracidad (grounding).
- Cuándo un guardrail es apropiado vs. tu propia comprobación determinista.
- Capas de guardrails con los controles de módulos anteriores.
- Rendimiento, falsos positivos y modos de fallo.
Manos a la obra:
- Añade una capa de guardrail de entrada/salida a una función de IA.
- Mide qué detecta y qué se escapa.
Módulo 8: Simulación de ataques a tu propia aplicación
Lab: Lab 07 - 07-Red-Teaming
Déspliegalo como si un atacante ya la tuviera comprometida.
Temas:
- Creación de conjuntos de pruebas/abusos para funciones de IA.
- Pruebas automatizadas de inyección de prompts y jailbreaks.
- Pruebas de regresión en guardrails y políticas.
- Ejecución de comprobaciones de seguridad de IA en CI (integración continua).
- Cadena de suministro de modelos y dependencias (procedencia, fijación de versiones).
- Una lista de verificación de seguridad previa al despliegue para funciones de IA.
Manos a la obra:
- Escribe pruebas automatizadas de red-teaming para una función de IA.
- Conéctalas a un check en CI.
Módulo 9: Puntuación de Seguridad de IA: El Marco SAIS-100
Lab: ninguno — ejercicio de puntuación (utiliza la aplicación final)
Convierte todo lo que has construido en una puntuación repetible.
Temas:
- El Hexágono de Seguridad de IA: seis preguntas en lugar de «¿es segura?»
- Las seis categorías puntuables (Datos, Prompt, Agente, Cadena de Suministro, Detección, Gobernanza).
- La rúbrica de 100 puntos y sus ponderaciones.
- Bandas de veredicto y la regla de anulación por categoría única.
- La Escala Elefante: Puntuación Segura de IA (SAIS-100) como un marco reutilizable y con marca propia.
- Puntuar antes y después de endurecer como métrica.
Manos a la obra:
- Puntuar la aplicación final en la escala de 100 puntos.
- Identificar el único cambio que más eleva la puntuación.
Llave clave: Las tres categorías con mayor ponderación se relacionan con los límites de confianza que posee un desarrollador; por lo tanto, la puntuación mide exactamente lo que este curso enseñó.
Aplicación Final (Capstone)
Los estudiantes endurecen una aplicación de IA deliberadamente vulnerable de extremo a extremo.
La aplicación base contiene:
- Un prompt inyectable
- Manejo inseguro de salida
- Un pipeline RAG sin alcance definido
- Un agente con permisos excesivos
- Secretos en el flujo del prompt
- Sin límites de costo
Los estudiantes aplican lo aprendido en el curso:
- Reestructurar prompts para contención.
- Validar y codificar la salida del modelo.
- Sanitizar y acotar la recuperación de datos.
- Aplicar menor privilegio y puertas de aprobación al agente.
- Mover los secretos fuera y añadir límites de costo/tasa.
- Añadir guardrails y pruebas automatizadas de red-teaming.
Entregable: una aplicación endurecida más una breve autoevaluación según las 10 principales amenazas OWASP LLM.
Mapa de Módulos a Laboratorios
Los laboratorios se ejecutan en orden, siguiendo el orden de los módulos. El curso tiene 9 módulos y 7 laboratorios: el Módulo 1 es un recorrido por la arquitectura/discusión y el Módulo 9 es un ejercicio de puntuación, por lo que ninguno tiene su propia carpeta de laboratorio.
- Lab 01 - 01-Prompt-Injection: Ataca tu chatbot y diseña para contener (Módulo 2)
- Lab 02 - 02-Output-Handling: Corrige un error de manejo inseguro de salida (Módulo 3)
- Lab 03 - 03-RAG-Security: Envenena y luego defiende un pipeline RAG (Módulo 4)
- Lab 04 - 04-Agent-Safety: Restringe un agente con permisos excesivos (Módulo 5)
- Lab 05 - 05-Secrets-and-Cost: Protege claves + añade controles de costos (Módulo 6)
- Lab 06 - 06-Guardrails: Añade una capa de guardrail de entrada/salida (Módulo 7)
- Lab 07 - 07-Red-Teaming: Pruebas automatizadas de red-teaming en CI (Módulo 8)
El Módulo 1 (Cómo fallan las aplicaciones de IA) no tiene laboratorio; se ejecuta como un recorrido por la arquitectura y discusión. El Módulo 9 (Puntuación de Seguridad de IA) no tiene carpeta de laboratorio; se ejecuta como un ejercicio de puntuación contra la aplicación final.
Requerimientos
- Nivel de habilidad: Intermedio.
- Los estudiantes deben sentirse cómodos creando y consumiendo APIs REST, utilizando un lenguaje de scripting (los laboratorios usan Python), comprensión básica de autenticación de aplicaciones, git y la línea de comandos (CLI).
- No se requiere conocimientos previos de aprendizaje automático (machine learning); este es un curso de seguridad de aplicaciones para quienes construyen con LLMs, no para quienes los entrenan.
Público objetivo
- Ingenieros de software y backend que desarrollan funciones con IA
- Desarrolladores full-stack y de APIs
- Ingenieros de aplicaciones de IA/ML
- Ingenieros de plataforma que despliegan copilots y agentes
- Líderes técnicos e ingenieros senior responsables de las funciones de IA
Testimonios (2)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
El conocimiento profesional y la forma en que lo presentó ante nosotros
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Traducción Automática
