GPT并非自然语言处理领域的唯一知名模型。谷歌公司2018年底推出的BERT模型(Bidirectional Encoder Representation from Transformers,基于变换器的双向编码器表示)一直是GPT的强大竞争对手。BERT和GPT的结构和训练方法都非常相似,在自然语言处理领域也同样取得了优秀的表现。但是,GPT被设计为兼顾自然语言理解和自然语言生成两种任务,而BERT只专注于执行自然语言理解任务。不同的任务导向,决定了两者在技术路线上的分野。直到本次GPT大火之前,过去的五年中,全球自然语言处理领域的主要热门方向一直是BERT。2019年,BERT相关论文发表数量就有近200篇。由于GPT模型训练工作难度更大,在自然语言理解任务中的表现也相对较难产生阶段性成果,因此,它的研发团队论文发表数量很少。OpenAI没有追求短期论文发表数量,而是秉持长期主义,多年如一日、“甘坐冷板凳”,对GPT模型进行研究攻坚。ChatGPT的成功,不仅仅是一项具体技术的进步,更是OpenAI在大型语言模型发展方向上坚持长期主义,进行战略布局并耐心坚守的结果。