Flujos de trabajo de LLM multimodales en Vertex AI

Introducción a los LLM multimodales en Vertex AI

• Vista general de las capacidades multimodales en Vertex AI
• Modelos de Gemini y modalidades admitidas
• Casos de uso en empresas e investigación

Configuración del entorno de desarrollo

• Configuración de Vertex AI para flujos de trabajo multimodales
• Trabajo con conjuntos de datos en distintas modalidades
• Práctica de laboratorio (hands-on): configuración del entorno y preparación de conjuntos de datos

Ventanas de contexto largo y razonamiento avanzado

• Comprensión de los flujos de trabajo de contexto largo
• Casos de uso en planificación y toma de decisiones
• Práctica de laboratorio (hands-on): implementación de análisis de contexto largo

Diseño de flujos de trabajo intermodales

• Combinación del análisis de texto, audio e imagen
• Encadenamiento de pasos multimodales en líneas de producción
• Práctica de laboratorio (hands-on): diseño de una línea de producción multimodal

Trabajo con parámetros de la API de Gemini

• Configuración de entradas y salidas multimodales
• Optimización de la inferencia y la eficiencia
• Práctica de laboratorio (hands-on): ajuste de parámetros de la API de Gemini

Aplicaciones e integraciones avanzadas

• Agentes y asistentes multimodales interactivos
• Integración de APIs y herramientas externas
• Práctica de laboratorio (hands-on): construcción de una aplicación multimodal

Evaluación e iteración

• Pruebas de rendimiento multimodal
• Métricas para precisión, alineación y deriva
• Práctica de laboratorio (hands-on): evaluación de flujos de trabajo multimodales

Resumen y próximos pasos