Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Opciones de despliegue
- Compromisos entre API alojada y autoalojada
- Patrones en las instalaciones, en el borde y en entornos aislados
- Modelo único versus cartera de modelos
- Comparación de costo por decisión
Dimensionamiento de hardware y capacidad
- Huella de memoria por cantidad de parámetros
- Solo CPU versus aceleración por GPU
- Planificación de concurrencia y rendimiento
- Margen para el crecimiento de la longitud de la tarea
Pilas de inferencia
- Opciones de vLLM y SGLang
- Ejecución de llama.cpp y GGUF
- Ollama para desarrollo local
- Elección basada en la forma de la carga de trabajo de decisión
Cuantización sin perder la calibración
- Formatos de precisión y ahorros de memoria
- Mide la pérdida de calidad y calibración
- Variantes por tensor y conscientes de la importancia
- Pruebas de aceptación después de la cuantización
Ingeniería de latencia
- Latencia mediana versus latencia en la cola
- Crecimiento de la latencia con la longitud del contexto
- Inicio en caliente y caché del modelo
- Loteo de múltiples preguntas de decisión
Entornos de borde y limitados
- Pequeños modelos de decisión en CPU
- Despliegue en Apple Silicon y embebido
- Operación sin conexión y estrategia de actualización
- Distribución de pesos en entornos aislados
Contenerización y escalado
- Diseño de imagen para inferencia de modelos
- Gestión de volúmenes y caché
- Escalado horizontal y enrutamiento
- Límites de recursos y compartición de GPU
Observabilidad
- Métricas de solicitud, latencia y errores
- Monitoreo de la distribución de confianza
- Rastreo del resultado de la decisión y la escalación
- Alertas por deriva en la calibración
Versionado y despliegue
- Versionado de modelo y adaptador
- Despliegue en sombra y de canario
- Archivos de modelo fijados para auditoría
- Procedimientos de reversión
Seguridad y multiinquilinato
- Autenticación y limitación de tasa
- Aislamiento de inquilinos para indicaciones y registros
- Aislamiento de red y control de tráfico saliente
- Registro de auditoría de decisiones
Requerimientos
- Experiencia en administración de Linux y contenedores.
- Familiaridad con servidores de inferencia de modelos y gestión de GPUs.
- Comprensión básica de APIs REST, balanceo de carga y monitoreo.
Audiencia
- Ingenieros de MLOps y plataformas que administran infraestructura de inferencia
- Equipos SRE que brindan soporte a servicios de IA
- Ingenieros de IA que despliegan modelos de decisión en las instalaciones
- Arquitectos que diseñan despliegues de IA aislados o regulados
