BERT在文本匹配任务中的优势

BERT 在文本匹配任务中的优势

BERT是 Google 于 2018 年提出的基于 Transformer 架构的预训练语言模型，全称为 Bidirectional Encoder Representations from Transformers，在自然语言处理领域具有里程碑意义。

技术原理与模型架构

核心创新：BERT 采用双向编码器结构，通过掩码语言模型（MLM）和下一句预测（NSP）两个预训练任务，使模型能同时理解词语左右两侧的上下文信息。

掩码语言模型：随机遮蔽输入序列中 15% 的 token，训练模型预测被遮蔽的原始词汇，其中 80% 替换为 [MASK] 标记，10% 随机替换为其他词，10% 保持不变。

下一句预测：给定两个句子 A 和 B，模型判断 B 是否是 A 的下一句，以此学习句子间关系。

模型结构：BERT 基于 Transformer 编码器架构，输入表示由词嵌入、段嵌入和位置嵌入三部分向量相加构成。

• BERT-Base：12 层 Transformer 编码器，768 维隐藏层，12 个注意力头，约 1.1 亿参数。
• BERT-Large：24 层 Transformer 编码器，1024 维隐藏层，16 个注意力头，约 3.4 亿参数。

训练范式：采用预训练与微调两阶段模式，预训练后的基础模型可通过微调适配多种下游 NLP 任务，无需对模型结构进行大量修改。