Transformer 编码器不知道它将被要求预测哪些单词，或者哪些单词已经被随机单词替换，因此它被迫保持每个输入标记的分布的上下文表示。CLS]）构造相关的嵌入对应的最终的隐藏状态(即，为Transformer 的输出)的池化后输出。
bert自从横空出世以来，引起广泛关注，相关研究及bert变体/扩展喷涌而出，如蒸馏的DistilBERT、改进MASK的SpanBERT、精细调参的RoBERTa、改进生成任务方向的MASS、UNILM、以及引入知识的ERNIE、引入多任务的ERNIE2.0等。
1、bertone
而微调方法，如生成预训练Transformer (OpenAI GPT) 模型，然后引入最小的特定于任务的参数，并通过简单地微调预训练模型的参数对下游任务进行训练。通过提出BERT 改进了基于微调的方法：来自Transformer 的双向编码器表示。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 80448874@qq.com 举报，一经查实，本站将立刻删除。如若转载，请注明出处：http://www.pglvshi.com/pgdnjn/5512.html
