Modelos de Lenguaje Grandes (LLMs) y Aprendizaje por Refuerzo (RL)

Introducción a los Modelos de Lenguaje Grandes (LLMs)

• Visión general de los LLMs
• Definición y relevancia
• Aplicaciones en la inteligencia artificial actual

Arquitectura Transformer

• ¿Qué es un transformer y cómo funciona?
• Componentes y características principales
• Embeddings y codificación posicional
• Atención multi-cabeza
• Red neuronal de propagación hacia adelante
• Normalización y conexiones residuales

Modelos Transformer

• Mecanismo de atención automática
• Arquitectura codificador-decodificador
• Embeddings posicionales
• BERT (Representaciones Bidireccionales de Codificadores a partir de Transformers)
• GPT (Transformador Generativo Preentrenado)

Optimización del rendimiento y riesgos

• Longitud del contexto
• Mamba y modelos de espacio de estados
• Flash attention
• Transformadores dispersos
• Transformadores de visión
• Importancia de la cuantización

Mejora de los Transformers

• Generación de texto aumentada con recuperación
• Mezcla de modelos
• Árbol de pensamientos

Ajuste fino (Fine-Tuning)

• Teoría de la adaptación de bajo rango
• Ajuste fino con QLora

Leyes de escalamiento y optimización en LLMs

• Importancia de las leyes de escalamiento para los LLMs
• Escalamiento de datos y tamaño del modelo
• Escalamiento computacional
• Escalamiento de eficiencia de parámetros

Optimización

• Relación entre el tamaño del modelo, el tamaño de los datos, el presupuesto computacional y los requisitos de inferencia
• Optimización del rendimiento y la eficiencia de los LLMs
• Mejores prácticas y herramientas para entrenar y ajustar finamente LLMs

Entrenamiento y ajuste fino de LLMs

• Pasos y desafíos de entrenar LLMs desde cero
• Adquisición y mantenimiento de datos
• Requisitos de datos a gran escala, CPU y memoria
• Desafíos de optimización
• Panorama de los LLMs de código abierto

Fundamentos del Aprendizaje por Refuerzo (RL)

• Introducción al Aprendizaje por Refuerzo
• Aprendizaje mediante refuerzo positivo
• Definición y conceptos centrales
• Proceso de Decisión de Markov (MDP)
• Programación dinámica
• Métodos de Monte Carlo
• Aprendizaje por diferencia temporal

Aprendizaje por Refuerzo Profundo

• Redes Q Profundas (DQN)
• Optimización de Política Proximal (PPO)
• Elementos del Aprendizaje por Refuerzo

Integración de LLMs y Aprendizaje por Refuerzo

• Combinación de LLMs con Aprendizaje por Refuerzo
• Cómo se utiliza el RL en los LLMs
• Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF)
• Alternativas a RLHF

Estudios de caso y aplicaciones

• Aplicaciones del mundo real
• Historias de éxito y desafíos

Temas avanzados

• Técnicas avanzadas
• Métodos avanzados de optimización
• Investigación y desarrollos de vanguardia

Resumen y siguientes pasos