视频字幕
传统AI模型主要依赖文本token输入进行处理，其内部通过数学运算理解文字。但如果直接输入图片，由于没有数字化图像的能力，就无法理解其中内容。
图像由一个个像素点组成，每个像素对应红绿蓝三个通道的亮度值，范围在0到255。将整个图像的像素映射成一个三维数组，就是让AI能够接收图像作为输入的第一步。
视觉编码器通常使用卷积神经网络，通过对图像多次卷积和池化操作，逐步提取边缘、纹理、形状等高级特征。最后这些特征会被整合成特征向量，包含了整幅图像的语义信息。
多模态融合技术将视觉编码器提取的图像特征和文本编码器提取的文字特征映射到统一的语义空间中，通过注意力机制实现对齐和交互，使模型能够将两种模态信息结合起来理解。
在实际应用中，模型可以从图像原始像素中识别多个物体，并理解它们之间的空间关系，然后生成类似“猫坐在红色沙发上”这样的自然语言描述，实现跨模态的高级理解。