视频字幕
大模型的上下文是指模型在理解问题和生成回答时所能看到和依赖的所有输入信息。就像人类在对话时需要记住前面说过的话一样，大模型也需要上下文来理解当前的问题并给出合适的回答。
上下文窗口是模型架构的一个重要参数，它决定了模型能同时处理多少个Token。比如4K Token的窗口大约能处理3000个英文单词。如果输入信息超过了窗口大小，最早的信息就会被丢弃，模型就无法再看到它们。
上下文由多个部分组成。首先是系统提示，告诉模型如何行为。然后是对话历史，让模型记住之前的交流。接着是用户提供的文档内容，最后是当前的问题或指令。这些信息层层叠叠，共同构成了模型理解和回答的基础。
上下文对模型的表现至关重要。没有上下文时，模型无法理解指代关系，比如问'我的爱好是什么'时，模型不知道'我'是谁。有了上下文，模型能记住之前的对话，理解语义关系，保持回答的连贯性和准确性。
上下文技术面临着长度限制和计算成本的挑战。随着技术发展，上下文窗口从最初的2K Token发展到现在的128K甚至更大。未来的目标是实现百万级别的上下文窗口，同时保持高效的处理速度。这将使大模型能够处理更长的文档和更复杂的任务。