1. Introducción a la Ventana de Contexto
La ventana de contexto es la cantidad total de tokens que un modelo de IA puede procesar en una conversación activa. Esto incluye todos los elementos de la interacción:
1 Prompt: Las instrucciones o consigna inicial que se le dan a la IA.
2 Contenido de entrada: El texto que se proporciona para ser analizado (artículos, fragmentos de libro, transcripciones, etc.).
3 Respuestas: Todo lo que la IA devuelve en cada turno de conversación.
Cuando la suma de los tokens de estos tres elementos alcanza el límite máximo que el modelo puede procesar, la IA comienza a "olvidar" las partes más antiguas del chat, descartando los tokens iniciales.
2. ¿Cómo se mide la Ventana de Contexto?
Tokens: Un token es la unidad mínima de texto que el modelo procesa. Dependiendo del modelo, un token puede representar una palabra, una sílaba o un fragmento.
Equivalencia aproximada:
• 1 token ≈ ¾ palabra en español.
• 100 tokens ≈ 75 palabras.
Con esta referencia, podemos entender mejor la capacidad de cada modelo en términos de cantidad de texto procesado.
3. Límites por modelo (al día de hoy)
Cada modelo de IA tiene un límite diferente en la cantidad de tokens que puede procesar de una sola vez. A continuación, se muestra el límite de tokens y su equivalencia aproximada en palabras:
• GPT-3.5 Turbo: Límite total: 4,096 tokens ≈ 3,000 palabras.
• GPT-4o estándar: Límite total: 8,192 tokens ≈ 6,000 palabras.
• GPT-4o extendido: Límite total: 32,768 tokens ≈ 24,000 palabras.
• Gemini 1.5 Pro: Límite total: 32,000 tokens ≈ 24,000 palabras.
Nota importante: Cada token de salida (respuesta de la IA) reduce la capacidad restante para la entrada. Por lo tanto, la longitud de la respuesta afecta la cantidad de contenido de entrada que se puede procesar.
4. ¿Qué sucede al saturarse la ventana de contexto?
Cuando se llega al límite de tokens procesados, la IA toma las siguientes acciones:
• Elimina los tokens más antiguos: El modelo descarta el contenido más antiguo del chat para hacer espacio a nuevos tokens.
• Pérdida de contexto: Al eliminar los tokens antiguos, la IA pierde parte del contexto original, lo que puede hacer que ya no recuerde las instrucciones iniciales o los datos importantes.
• Respuestas incoherentes o repetitivas: La falta de contexto completo puede generar respuestas que no sean coherentes con el comienzo de la conversación o repitan información previamente discutida.
5. Comparación con textos reales
Es útil comparar la cantidad de tokens que puede procesar un modelo con textos reales para tener una referencia clara de la capacidad de cada modelo. A continuación se presenta una comparación:
Texto
Palabras
Tokens aproximados
Encaja en...
Página de novela
300
400
GPT-3.5, GPT-4o estándar
Capítulo corto
2,000
2,700
GPT-4o estándar, extendido
Artículo académico
6,000
8,000
GPT-4o extendido
Libro breve
30,000
40,000
No encaja en modelos estándar
6. Buenas prácticas para maximizar la ventana de contexto
Para sacar el máximo provecho de la ventana de contexto y evitar que el modelo pierda coherencia o contexto, te recomiendo seguir estas buenas prácticas:
1 Sintetizar prompts:
◦ Utiliza frases claras y directas para reducir el número de tokens innecesarios.
◦ Evita instrucciones redundantes que puedan ocupar espacio sin aportar valor.
2 Preprocesar el texto:
◦ Antes de pegarlo en el modelo, elimina notas, ejemplos innecesarios o cualquier texto que no sea relevante.
◦ Trabaja solo con el fragmento específico que necesitas procesar.
3 Solicitar respuestas concisas:
◦ Pide respuestas breves y directas. Ejemplos de solicitudes: "Resumí en 150 palabras" o "Lista los 5 puntos clave".
4 Dividir y procesar por etapas:
◦ Para textos largos, divide el contenido en chunks y resúmelos por separado. Luego, reensambla los resúmenes en un único documento.
5 Reiniciar el chat al cambiar de tema:
◦ Evita acumular tokens de conversaciones previas. Si cambias de tema, inicia un nuevo chat para mantener el contexto limpio y específico.
7. Cómo usar la ventana de contexto en el aula
Entender cómo funciona la ventana de contexto y conocer los límites de los modelos de IA permite a los docentes:
• Planificar cuánto texto pueden analizar de una sola vez.
• Equilibrar la longitud del prompt con la respuesta deseada.
• Evitar la pérdida de información y mantener la coherencia a lo largo de la conversación.
Con estos datos, utilizar la IA en el aula se vuelve más eficaz, predecible y fiable, permitiendo que los docentes gestionen mejor las interacciones con los estudiantes.
视频信息
答案文本
视频字幕
La ventana de contexto es un concepto fundamental en los modelos de inteligencia artificial. Representa la cantidad total de tokens que el modelo puede procesar simultáneamente en una conversación activa. Esta ventana incluye tres elementos principales: el prompt o instrucciones iniciales, el contenido de entrada que queremos analizar, y todas las respuestas que genera la IA. Cuando la suma de estos elementos alcanza el límite máximo, el modelo comienza a descartar automáticamente la información más antigua para hacer espacio a nueva información.
Los tokens son las unidades básicas de procesamiento en los modelos de inteligencia artificial. Un token puede representar una palabra completa, una sílaba o un fragmento de palabra, dependiendo del modelo y el idioma. En español, la equivalencia aproximada es de un token por cada tres cuartos de palabra. Esto significa que cien tokens equivalen aproximadamente a setenta y cinco palabras. Veamos un ejemplo práctico: la frase 'La inteligencia artificial procesa texto' se divide en ocho tokens, lo que confirma nuestra equivalencia de aproximadamente un token y medio por palabra.
Los diferentes modelos de inteligencia artificial tienen capacidades muy distintas en cuanto a la cantidad de tokens que pueden procesar. GPT-3.5 Turbo, el más básico, maneja hasta cuatro mil noventa y seis tokens, equivalentes a unas tres mil palabras. GPT-4o estándar duplica esta capacidad con ocho mil ciento noventa y dos tokens. Los modelos más avanzados como GPT-4o extendido y Gemini 1.5 Pro pueden procesar más de treinta mil tokens, lo que equivale a aproximadamente veinticuatro mil palabras. Esta diferencia de capacidad determina qué tipo de textos y conversaciones pueden manejar eficientemente.
Cuando la ventana de contexto alcanza su límite máximo, el modelo debe tomar decisiones automáticas para continuar funcionando. Primero, elimina los tokens más antiguos de la conversación, comenzando por el contenido inicial. Esto provoca una pérdida progresiva del contexto original, incluyendo las instrucciones iniciales y la información importante del comienzo. Como consecuencia, el modelo puede generar respuestas incoherentes que no se relacionan con el tema inicial, o repetir información que ya había procesado anteriormente. Es un proceso automático e inevitable cuando se supera la capacidad de procesamiento.
Para comprender mejor las capacidades de cada modelo, es útil compararlas con textos reales. Una página típica de novela con trescientas palabras ocupa aproximadamente cuatrocientos tokens, lo que permite que incluso GPT-3.5 Turbo la procese completamente. Un capítulo corto de dos mil palabras requiere unos dos mil setecientos tokens, compatible con GPT-4o estándar. Los artículos académicos de seis mil palabras necesitan cerca de ocho mil tokens, alcanzando el límite de GPT-4o extendido. Sin embargo, un libro breve de treinta mil palabras excede las capacidades de los modelos actuales, requiriendo estrategias especiales de procesamiento por fragmentos.