NingG +

AI 系列：Embedding 训练细节 & 数学原理

2025-09-06

Embedding model，几个典型问题：

典型术语，含义：

其中，前 3 个都是损失函数，用于训练 embedding 模型；后 1 个是任务，用于评估 embedding 模型。

InfoNCE 损失函数，把正例的表征向量拉近 query，且把负例推远，使得在 embedding 空间内正例相似度最大化。当用 softmax 时，loss 实质上把正例的相似度当成“正确类别”的概率最大化。

\[\mathcal{L}_{\text{InfoNCE}} = -\log\frac{\exp(\operatorname{sim}(q,p)/\tau)}{\exp(\operatorname{sim}(q,p)/\tau)+\sum_{n\in\mathcal{N}}\exp(\operatorname{sim}(q,n)/\tau)}\]

CoSENT 的核心思想不是直接回归 label 到 cosine，而是利用标注的相对排名信息，用 pairwise 的 log-sum-exp 来保持“相似度排序一致性”。论文里给出的一个（interaction）形式是：

\[\mathcal{L}_{\text{CoSENT}}=\log\!\Big(1+\sum_{(k,l):\; \text{label}(i,j)>\text{label}(k,l)}\exp\big(\lambda\big(f(k,l)-f(i,j)\big)\big)\Big)\]

MSE 损失函数公式（若 label 在 [-1,1] 或 [0,5] 需先归一化到 sim 相同的取值范围）：

\[\mathcal{L}_{\text{MSE}}=(\operatorname{sim}(u,v)-y)^2\]

Embedding model（嵌入模型 / 向量表示模型）的原理，核心是：把离散的文本、图片、音频等信号，映射到连续的高维向量空间中，使得语义相似的输入，在向量空间的距离也更近。

下文按原理和训练过程，拆开讲。

1. 核心思想

2. 模型结构

常见的 embedding 模型和大语言模型结构相似，主要分：

2.1.Embedding vs LLM

embedding 模型（比如 BERT、SimCSE、BGE、M3E 等）和大语言模型（GPT、LLaMA、DeepSeek 等）在结构上确实有很多相似之处，但在训练目标、架构细节和使用方式上有差异。从以下几个维度对比。

2.1.1. 相似之处

  1. 底层架构：都是 Transformer

    • embedding 模型和 LLM 都是基于 Transformer 编码器/解码器结构。
    • 主要组件相同：多头自注意力（Multi-head Self-Attention）、前馈网络（FFN）、层归一化（LayerNorm）、残差连接。
    • 因此，它们都能学习到 上下文依赖 和 语义信息。

  2. 输入表示

    • 都需要将文本分词（tokenization），再映射到向量空间（embedding layer）。
    • 常用 BPE、SentencePiece 等分词算法。
    • 都会加入位置编码（Positional Encoding）。

  3. 预训练数据规模

    • 都依赖大规模文本语料，利用无监督/自监督学习。

2.1.2. 差异之处

  1. 训练目标不同

    • Embedding 模型：目标是得到一个语义向量，常见训练方式：
      • MLM（Masked Language Modeling） 掩码语言模型 → BERT
      • 对比学习（Contrastive Learning） → SimCSE, BGE, M3E
      • 多任务联合 → 融合检索/排序/分类任务
    • LLM：目标是生成下一个 token（自回归 LM），优化目标是最大化 token 序列的似然。

  2. 架构差异

    • Embedding 模型：常用 Encoder-only（如 BERT），得到整段文本的语义向量。
    • LLM 模型：常用 Decoder-only（如 GPT、LLaMA），适合生成任务。
    • 也有 Encoder-Decoder（如 T5、mBART），既能做 embedding，也能做生成。

  3. 输出形式

    • Embedding 模型：输出一个定长向量（句子/段落语义表示），通常取 [CLS] token 或平均池化。
    • LLM：输出一个 token 分布序列，可以生成文本。

  4. 推理/使用方式

    • Embedding 模型：常用于相似度计算、检索、聚类、分类。使用时一般是一次性编码，得到向量即可。
    • LLM：常用于对话、写作、推理。使用时是逐 token 解码，带有上下文记忆。

  5. 参数规模

    • Embedding 模型：参数量相对较小（几十 M 到几百 M）。
    • LLM：参数量更大（几十 B 起步）。

2.1.3. 总结表格

维度 Embedding 模型 大语言模型 (LLM)
底层结构 Transformer Transformer
常用架构 Encoder-only Decoder-only
训练目标 语义表示（MLM/对比学习） 文本生成（自回归 LM）
输出形式 固定向量 Token 序列
应用方向 检索、聚类、排序、语义匹配 对话、写作、推理、代码生成
参数规模 较小（M～B 级） 较大（B～T 级）

可以这样理解：

2.2.输出向量

Embedding 模型：输出一个定长向量（句子/段落语义表示），通常取 [CLS] token 或平均池化

2.2.1. [CLS] token 是什么？

2.2.2. 为什么可以取 [CLS] 向量作为句子 embedding？

2.2.3. 取 [CLS] vs 平均池化

常见的两种做法：

  1. 取 [CLS] 向量
    • 直接拿最后一层 [CLS] hidden state（比如 768 维）。
    • 优点：计算简单，语义浓缩。
    • 缺点：依赖预训练时的任务设计，有时候泛化性不如平均池化，不稳定。
  2. 平均池化（mean pooling）
    • 对所有 token 的 hidden states 求平均，得到句子表示。
    • 优点：更稳定，不依赖模型是否专门训练过 [CLS]。
    • 缺点：可能稀释掉一些重要 token 的权重。

2.2.4. 实例

假设输入句子：

[CLS] 我 喜欢 学习 embedding 模型 [SEP]

2.2.5. 现代 embedding 模型的选择

3. 训练方法

Embedding model 的训练过程，可以认为是：先预训练，然后再 对比学习、排序损失、多任务增强训练等微调。

3.0. 简述训练过程

Embedding model 的训练过程，通常分为两个大的阶段：

3.0.1. 预训练阶段 (Pre-training)

例子：BERT、RoBERTa、ELECTRA 这些都是在大语料上预训练的语言模型。

3.0.2. 微调阶段 (Fine-tuning for Embedding)

在通用语义基础上，使用 有标注或弱标注数据，结合 对比学习、排序损失、多任务增强 来提升 embedding 的效果。

常见方法：

  1. 对比学习 (Contrastive Learning, 如 InfoNCE)

    • 输入正负样本对 (q, pos, neg)，拉近正样本 embedding，拉远负样本 embedding。
    • 常用于语义匹配、检索。

  2. 排序损失 (Ranking Loss, 如 Triplet Loss, Pairwise Loss)

    • 强调 排序关系，例如：

      • 给定一个 query，它与文档 A 的相关性比文档 B 高 → 模型要保证 sim(q, A) > sim(q, B)。

  3. 回归损失 (Regression Loss, 如 MSE)

    • 用在语义相似度标注任务 (STS, [0,5] 分)。
    • 目标是让 embedding 的余弦相似度，接近标注分数。

  4. 分类损失 (Classification Loss, 如 CrossEntropy)

    • 用在自然语言推理 (NLI) 数据上：

      • premise-hypothesis 是 “蕴含” → 高相似度
      • 是 “矛盾” → 低相似度
      • 是 “中立” → 中间相似度

  5. 多任务增强 (Multi-task Training)

    • 将上述任务组合，比如 InfoNCE + MSE + NLI CrossEntropy，一起训练。
    • 可以避免单一任务过拟合，提高 embedding 的泛化能力。

总结起来：

这就是所说的 “先预训练 → 再微调（对比学习、排序、多任务）” 的完整流程。

通过 对比学习 + 排序损失 + 多任务增强-训练，来学习“语义空间”。

embedding 模型和普通语言模型不同，核心是相对相似性学习（contrastive learning）。

3.1.对比学习（Contrastive Learning）

3.2.语义等价约束（CoSENT / Triplet Loss）

3.3.多任务监督

embedding 模型通常用多种任务联合训练：

4. 评估指标

5. 常见模型分类

Embedding model 的原理就是 把语义相似度转化为几何相似度，通过 对比学习 / 排序损失 / 多任务训练 来学习一个“语义空间”。

6.训练方法-要点

Embedding 模型，常见的训练方法：

  1. 联合训练：损失函数，加权求和
  2. 交替训练
  3. 分阶段训练：先无监督预训练 pre-train，再有监督 fine-tune，这种复杂度低

常见做法，细节：

  1. 联合训练（simultaneous）：总损失，为各种损失函数的加权求和

    \[L_{total}=\sum_i \alpha_i L_i\]
    • 直接在同一 batch / 同一次反向传播里同时优化。
    • 优点：共享表征、正则化效应；
    • 缺点：不同任务/损失会有梯度冲突或量级差异，导致某些任务被“淹没”。可用 GradNorm / PCGrad 等方法缓解。
  2. 交替 / 轮换训练（alternating）：每个 step 或每个 epoch 切换任务（或用不同 task-specific batches）。缓解权重调参问题，但训练调度更复杂。
  3. 分阶段（pretrain → finetune）：先大规模用 InfoNCE/contrastive 无监督预训练，再用监督损失（如 CoSENT / MSE / ranking）微调（这是很常见且稳定的流程）。

下面会对每种损失函数，讨论其：公式、参数含义、物理（几何）含义、梯度直觉、优缺点和实战建议。

6.1.InfoNCE / Contrastive loss（包括检索场景下的 softmax 形式）

公式（query-style），给定 query \(q\)、一个正例 \(p\) 和负例集合 \(\mathcal{N}\)：

\[\mathcal{L}_{\text{InfoNCE}} = -\log\frac{\exp(\operatorname{sim}(q,p)/\tau)}{\exp(\operatorname{sim}(q,p)/\tau)+\sum_{n\in\mathcal{N}}\exp(\operatorname{sim}(q,n)/\tau)}\]

要点：

InfoNCE 全称是 Information Noise-Contrastive Estimation，最初用于互信息最大化，现在是对比学习里最常用的损失函数。

NCE (Noise-Contrastive Estimation 噪声对比估计)，是一种统计方法，用来把复杂的概率密度估计问题，转化为一个二分类对比问题：区分“真实样本”和“噪声样本”。

L2 归一化（也叫 向量标准化），是把向量长度缩放到 1，这样相似度计算就只和方向有关，而与长度无关。

6.2.NT-Xent（Normalized Temperature-scaled Cross Entropy，SimCLR 中的形式）

公式（对称版本，2N views）：对 batch 中每一对正样本 (i,j)，

\[\ell_{i,j}=-\log\frac{\exp(\operatorname{sim}(z_i,z_j)/\tau)}{\sum_{k=1}^{2N,\;k\neq i}\exp(\operatorname{sim}(z_i,z_k)/\tau)}\]

总体 loss 对所有正对求平均（同时对称计算 \((i,j)\) 和 \((j,i)\)）。

6.3. Triplet Loss（锚-正-负）

公式（距离版）： 保持术语一致，原则上不考虑距离版本写法

\[\mathcal{L}_{\text{triplet}}=\max\big(0,\; d(a,p)-d(a,n)+m\big)\]

或相似度版：推荐”相似度版”写法，语义越靠近、相似度越取值越高

\[\max\big(0,\; s(a,n)-s(a,p)+m\big)\]

要点：

6.4. Pairwise margin / Ranking loss（用于排序/检索）

常见形式：

\[\mathcal{L}=\max\big(0,\; (s(q,n)-s(q,p)) + \text{margin}\big)\]

或用 logistic/sigmoid 平滑：

\[\mathcal{L}=\log\big(1+\exp(\lambda (s(q,n)-s(q,p)))\big)\]

6.5. Cross-entropy（softmax 分类式检索）

在检索任务中，把所有候选看作类（或把正例当作“正确类别”），用普通 Cross-Entropy 交叉熵损失：

\[p_i=\frac{\exp(\operatorname{sim}(q,d_i)/\tau)}{\sum_j\exp(\operatorname{sim}(q,d_j)/\tau)},\quad \mathcal{L}=-\log p_{\text{pos}}\]

这在实现上和 InfoNCE 是等价的（当每个 query 只有一个正例时）。因此 InfoNCE 可看作一种 softmax-CE 的对比式写法。

6.6. Supervised Contrastive Loss（SupCon）

公式（Khosla et al.），对样本 \(i\) 令 \(P(i)\) 为同一类的其他样本集合：

\[\mathcal{L}_i = -\frac{1}{|P(i)|}\sum_{p\in P(i)}\log\frac{\exp(\operatorname{sim}(z_i,z_p)/\tau)}{\sum_{a\neq i}\exp(\operatorname{sim}(z_i,z_a)/\tau)}\]

再对 batch 求均值。

含义：把同类样本聚成簇，同时将不同类簇分开；把有标签信息的优势直接用在 contrastive 框架里（比单纯 CE 更强调表征簇结构）。

6.7. CoSENT（排名/一致性损失，针对 STS）

CoSENT 全称是 Contrastive Sentence (Embedding) Ordering Loss，是一种用于句子排序的损失函数。

STS = Semantic Textual Similarity（语义文本相似度），是一种用于衡量句子语义相似度的任务。

CoSENT 的核心思想不是直接回归 label 到 cosine，而是利用标注的相对排名信息，用 pairwise 的 log-sum-exp 来保持“相似度排序一致性”。论文里给出的一个（interaction）形式是：

\[\mathcal{L}_{\text{CoSENT}}=\log\!\Big(1+\sum_{(k,l):\; \text{label}(i,j)>\text{label}(k,l)}\exp\big(\lambda\big(f(k,l)-f(i,j)\big)\big)\Big)\]

要点：

CoSENT 损失函数，主要用在 STS（Semantic Textual Similarity）语义文本相似度（排序）场景。

CoSENT = Cosine Sentence (Embedding) Loss

在 STS 任务里，常见做法是：

问题：MSE(Mean Squared Error, 平方差的平均值) 强制相似度和标签的数值接近，但实际下游任务只关心 排序关系，而不是数值拟合。比如：

即便模型预测 0.8 vs 0.7 也足够了，不需要强制预测 4.9/5。

CoSENT 的核心思想

把 STS 看作一个排序问题，而不是回归问题。

CoSENT 的一种常见写法：

\[L = \log\Big(1+\sum_{(i,j)} \exp\big(\lambda \cdot (\cos(u_j,v_j)-\cos(u_i,v_i))\big)\Big)\]

其中：

参数与物理含义：

优势：

应用场景：

一句话总结：CoSENT 是一种基于余弦相似度的排序型损失函数，专门为 STS 设计，它不再回归具体分数，而是直接优化“语义相似度的排序关系”，训练与预测保持一致，效果更稳定。

6.8. MSE / Cosine-regression（直接回归相似度）

MSE = Mean Squared Error（均方误差），是最常见的回归损失函数之一，用来度量预测值与真实值差异的平方的平均值。

公式（若 label 在 [-1,1] 或 [0,5] 需先归一化到 sim 相同的取值范围）：

\[\mathcal{L}_{\text{MSE}}=(\operatorname{sim}(u,v)-y)^2\]

注意：

  • 如果标签取值范围比预测范围大很多，Loss 会很大，梯度也会非常大，导致训练不稳定（梯度爆炸）。
  • 归一化后，loss 数值会落在一个合理区间（通常 < 1），优化器更稳定。

6.9. 损失合并（Joint multi-loss）与权重策略

常见合并：

\[L_{\text{total}}=\alpha \cdot L_{\text{InfoNCE}} + \beta \cdot L_{\text{CoSENT}} + \gamma \cdot L_{\text{CE}} + \dots\]

6.10. 超参数/工程实战建议（汇总）

6.11. 小结（一句话）

多数现代 sentence/embedding pipeline 会结合多种损失：

M3E： Moka Massive Mixed Embedding Model，3个M

关联资料

RAG两大核心利器: M3E-embedding和bge-rerank

原文地址：https://ningg.top/ai-series-embedding-model-details/
微信公众号 ningg, 联系我

同类文章:

微信搜索: 公众号 ningg, 联系我, 交个朋友.

京ICP备19013747号-1
Top