视频字幕
词嵌入是自然语言处理中的核心技术，它将人类语言中的词汇转换为计算机可以理解和处理的数值向量。这项技术的核心思想是将词汇映射到高维向量空间中，使得语义相似的词在空间中的距离更近。比如在这个二维示例中，我们可以看到相似的词汇如国王和皇帝、苹果和橙子、跑步和游泳都聚集在一起。通过这种方式，我们可以用向量运算来表达复杂的语义关系。
现在我们来详细看看单词"诸葛亮"是如何被转换为嵌入向量的。首先是分词过程，"诸葛亮"作为一个完整的词汇被识别出来。然后在词汇表中查找对应的ID，比如8847。接下来，这个ID被映射到一个300维的向量空间中。这个向量的每一个维度都是一个浮点数，通常在负1到正1之间。右侧展示了这个向量的前20个维度的数值分布，蓝色表示正值，红色表示负值。这些数值看似随机，但实际上编码了"诸葛亮"的语义信息，包括他作为历史人物的特征、智慧策略相关的概念，以及三国时期的历史背景等信息。
现在我们来看句子"诸葛亮七擒孟获"是如何被转换为嵌入向量的。首先进行分词，将句子分解为四个词：诸葛亮、七、擒、孟获。然后每个词都被转换为对应的嵌入向量，比如诸葛亮对应一个300维向量，七对应另一个向量，以此类推。接下来是关键的序列编码步骤，我们需要将这四个词向量组合成一个句子向量。常用的方法包括注意力机制、平均池化、最大池化，或者使用LSTM和Transformer等深度学习模型。右侧的流程图展示了这个过程：从原始词汇到词嵌入向量，再通过注意力机制等方法，最终得到一个能够表示整个句子语义的向量。这个句子向量不仅包含了各个词的信息，还捕获了词与词之间的关系和整体的语义含义。
现在我们来直接对比单词嵌入和句子嵌入的差异。从维度上看，单词嵌入通常是300到768维，而句子嵌入通常是512到1024维。在信息量方面，单词嵌入只包含单一词汇的语义，而句子嵌入包含完整的语义表达。计算复杂度上，单词嵌入相对简单，句子嵌入需要考虑词与词之间的关系，计算更复杂。右侧展示了"诸葛亮"单词向量和"诸葛亮七擒孟获"句子向量的可视化对比。蓝色和红色表示单词向量的正负值，绿色和橙色表示句子向量的正负值。通过余弦相似度计算，我们可以看到两个向量的相似度是0.73，这表明句子向量确实包含了单词的语义信息，但同时也融入了更多的上下文和语法结构信息。
最后我们来看看词嵌入和句子嵌入在实际应用中的表现。在搜索引擎场景中，当用户搜索"诸葛亮"这个单词时，词嵌入技术可以找到语义相关的词汇，比如孔明、军师、智者等，相似度分别是0.89、0.82和0.76。而当用户搜索"诸葛亮七擒孟获"这个完整句子时，句子嵌入技术能够理解整个句子的语义，匹配到南征故事、智慧用兵、三国战役等相关内容，相似度分别达到0.91、0.88和0.85。右侧的对比演示清楚地展示了两种技术的不同应用效果。在推荐系统中，词嵌入更适合关键词推荐，而句子嵌入更适合内容推荐，能够提供更准确的语义理解和更好的用户体验。这两种技术各有优势，在不同的应用场景中发挥着重要作用。