BERT 由Google开发的基于Transformer架构的预训练语言模型,通过在大规模文本数据上学习双向上下文信息,为多种NLP任务提供强大基础,拥有最多达数百亿个参数,并在多个任务中取得显著性能提升。