视频字幕
大模型无法直接处理文字，必须将单词转换为数值形式。每个单词都会被映射为一个高维向量，称为词向量。这个向量包含了单词的语义信息，使计算机能够理解和处理语言。
词向量的一个重要特性是能够捕获语义关系。意义相近的词，如"猫"和"狗"，在向量空间中会聚集在一起。同样，"汽车"和"自行车"作为交通工具也会形成另一个聚类。这种空间分布反映了词语之间的语义相似性。
现代大模型的一个重要特征是上下文感知。同一个词"银行"在不同句子中会产生不同的词向量。在"银行存款"中，它表示金融机构；在"河流银行"中，它表示河岸。模型通过分析上下文来动态调整词向量，使其更准确地反映当前语境下的含义。
自注意力机制是现代大模型的核心技术。当模型处理"猫"这个词时，它会计算与句子中其他词的关联度。比如"猫"与"玩耍"关联度很高，与"花园"也有一定关联，而与"在"的关联度较低。这些注意力权重帮助模型更好地理解词语在特定上下文中的含义。
词向量是大模型理解和处理语言的基础。当用户输入文本时，首先转换为词向量，然后通过多层神经网络处理，最终生成回答。这个过程支持了机器翻译、智能问答、文本生成、情感分析等众多应用。词向量技术让计算机真正具备了理解和生成人类语言的能力。