视频字幕
大模型微调是人工智能领域的重要技术。它指的是在已经通过海量数据预训练好的大型模型基础上，使用特定任务或领域的数据进行进一步训练。这样可以让通用模型更好地适应特定应用场景，比如对话助手、代码生成或专业文档处理等。
模型的向量实际上指的是模型的参数，包括权重和偏置。这些参数以张量的形式存储在计算设备的内存中，如GPU显存或CPU内存。当需要保存模型时，这些参数会被存储到磁盘文件中，通常使用专门的格式如点pth、点ckpt或点safetensors等。这些参数是模型学习到的知识和模式的数值表示。
模型的内部参数在训练和推理过程中通常不直接存储在传统的关系型数据库或NoSQL数据库中。与数据库的联系主要体现在三个方面：首先，用于微调的训练数据可能来源于各种数据库；其次，关于模型的元数据如版本、超参数、性能指标等会存储在数据库中进行管理；最重要的是，模型生成的向量表示，如文本嵌入、图像嵌入等输出向量，经常被存储在专门的向量数据库中。
参数的调整是通过一个迭代的训练过程实现的。首先，将特定任务的数据输入到模型中。然后，模型根据当前的参数进行预测。接下来，通过损失函数计算预测结果与真实目标之间的误差。随后，使用反向传播算法计算损失函数关于每个参数的梯度，这个梯度表示参数需要调整的方向和幅度。最后，优化器根据梯度更新模型的参数值，使其朝着减小误差的方向移动。这个过程不断重复，直到模型性能达到预期。
奖励方式主要应用于强化学习或人类反馈强化学习场景，常用于对齐大型语言模型。其作用机制是：首先模型生成一个输出，然后奖励函数对这个输出进行评分给出奖励值。这个奖励值作为信号指导模型的参数更新，通过优化算法如PPO根据奖励信号计算梯度，然后优化器使用这些梯度来调整模型的参数。通过这种方式，奖励信号间接影响模型的参数，使得模型更有可能生成能获得高奖励的输出，从而实现行为的塑造和对齐。