BERT 由Google开发的基于Transformer架构的预训练语言模型,通过在大规模文本数据上学习双向上下文信息,为多种NLP任务提供强大基础,拥有最多达数百亿个参数,并在多个任务中取得显著性能提升。 01,5460 开源项目
BLOOM 由超过1000名来自60多个国家和250多个机构的研究人员参与开发的大型开源多语言语言模型,拥有176B参数,并在ROOTS语料库上训练,支持46种自然语言和13种编程语言,旨在推动学术界和小型公司对大型语言模型的研究和使用。 01,6070 开源项目