Flujos de trabajo de LLM multimodales en Vertex AI

Introducción a los LLMs multimodales en Vertex AI

• Visión general de las capacidades multimodales en Vertex AI.
• Modelos Gemini y modalidades admitidas.
• Casos de uso en entornos empresariales y de investigación.

Configuración del entorno de desarrollo

• Configuración de Vertex AI para flujos de trabajo multimodales.
• Trabajo con conjuntos de datos a través de diferentes modalidades.
• Taller práctico: configuración del entorno y preparación de datos.

Ventanas de contexto largo y razonamiento avanzado

• Comprensión de flujos de trabajo con contexto largo.
• Casos de uso en planificación y toma de decisiones.
• Taller práctico: implementación de análisis con contexto largo.

Diseño de flujos de trabajo intermodales

• Combinación del análisis de texto, audio e imagen.
• Encadenamiento de pasos multimodales en las tuberías.
• Taller práctico: diseño de una tubería multimodal.

Trabajo con los parámetros de la API de Gemini

• Configuración de entradas y salidas multimodales.
• Optimización de la inferencia y la eficiencia.
• Taller práctico: ajuste de los parámetros de la API de Gemini.

Aplicaciones avanzadas e integraciones

• Agentes y asistentes multimodales interactivos.
• Integración de APIs y herramientas externas.
• Taller práctico: construcción de una aplicación multimodal.

Evaluación e iteración

• Pruebas del rendimiento multimodal.
• Métricas para precisión, alineación y deriva.
• Taller práctico: evaluación de flujos de trabajo multimodales.

Resumen y próximos pasos