事实上，第一个语言模型是在1913年由Andrei Markov开发的，也就是我们所说的“隐马尔科夫模型（Hidden Markov Model，简称HMM）”。他在一部戏剧中通过计算单词对建立了一个语言模型。他观察了戏剧中的每一对单词，并了解一个单词跟随另一个单词的频率。
大语言模型就是根据前面的单词进行单词预测，例如我用“Happy”这个词，后面通常是“Birthday”。
十年前，我们注意到这些系统可能会从前10个或20个单词结合上下文预测下一个单词，可以生成看起来非常合理的文本，也很符合语法，但没有任何意义，比如每隔几句话它就会不停地改变话题，开始谈论别的事情。
基本没有人会在十年前预测到，如果你把语言模型做得更大，人们会开始爱上它们。这似乎是一件荒谬的事情，但事实证明这是真的。