在本 NLP 云课程中，我们将重点介绍语言人工智能（又称自然语言处理）历史上的重要里程碑。
课程结构如下：
大家好，我是来自 NLP Cloud 的 Julien Salinas，这是一个先进的人工智能平台，适合您的下一个人工智能项目。
对于人工智能从业者来说，了解人工智能的历史，看看哪些重要的里程碑促成了我们今天所使用的尖端生成模型，是一件非常有趣的事情。
在本课程中，我将快速回顾从 20 世纪到今天的语言模型历史。
人工智能并非新生事物。
工程师和语言学家在 1950 年左右开始研究人工智能对文本的理解。
在 90 年代之前，这是符号自然语言处理的时代。
当时的主要动机是机器翻译，而人工智能是基于一套规则的。
改进人工智能算法主要是为程序添加更多规则。
研究人员对他们的第一批成果充满热情，他们认为机器翻译问题在几年内就会迎刃而解。
如今，这个问题仍然没有完全解决。
这些基于规则的系统还催生了第一个非常简单的聊天机器人--Elisa。
1990 年，我们进入了统计 NLP 时代。
使用带有统计数据的人工智能而不是预定义规则，意味着我们可以开始构建功能更强大的系统，而无需事先考虑所有情况。
这不仅得益于数学研究的进步，也得益于新型 CPU 计算能力的提高。
系统将根据人类的反馈进行学习，这也被称为监督学习，后来甚至完全不需要人类干预，这也被称为无监督学习。
因此，我们可以根据来自互联网的大量非结构化数据来训练有趣的模型。
当时，新企业实际上都在生产中使用机器学习，最流行的用例是命名实体识别，也称为实体提取。
神经网络并不新鲜。
20 世纪中叶，一些研究人员已经有了一种直觉，即创建一个由神经元组成的人工智能系统，以模仿人脑。
但神经网络在 2010 年前后才开始取得令人感兴趣的成果。
有了 GPU，我们才有可能训练更大的神经网络。
这就是所谓深度学习时代的开端。
卷积神经网络在计算机视觉领域首次取得了令人瞩目的成果，实现了先进的图像分类。
语言真正得益于深度学习的时间要晚一些。
在 2010 年深度学习兴起之前，语言人工智能基本上是一个研究领域，很少有企业在其产品中使用自然语言处理技术。
现在，让我们看看是哪项最新突破造就了我们今天所熟知的生成式人工智能技术。
语言模型的真正突破是在 2017 年，当时谷歌的一些研究人员发布了一篇名为《注意力就是你所需要的一切》的论文。
本文介绍了一种新型的神经网络架构，即基于自我注意这一新原理的变压器。
变压器架构是我们自 2017 年以来看到的所有令人印象深刻的语言模型的核心。
很快，谷歌就按照转换器架构训练出了第一个模型。
这种模式被称为 BERT。
BERT 是第一个生产级语言模型，可用于摘要、实体提取、问题解答、翻译等各种用例。
BERT 非常有趣，因为它首次创建了善于迁移学习的模型。
基本上，该模型是在大量未注明数据集上预先训练的，然后通过快速微调，只需很少的额外数据，就能快速学习各种使用案例。
OpenAI 最初是一家非营利性人工智能初创公司，它发布了一种基于变压器的新型架构--GPT。
当他们在 2019 年发布 GPT-2 时，所有人都对这一代文本机型的功能赞不绝口。
GPT-2 是第一个生产级生成模型。
它尤其适用于文本补全。
例如，微软公司将其用于 Microsoft Office 中的自动完成功能。
它是在 800 万个网页和 7000 本图书上训练出来的，包含 15 亿个参数，当然，这与我们今天的模型相比并不算多。
2020 年，OpenAI 发起了第二次革命。
他们成为了一家营利性公司，并发布了名为 GPT-3 的强大生成模型。
GPT-3 仍以 GPT 架构为基础，但训练内容更多。
它包含 1 750 亿个参数，需要数千个 GPU 进行长达数月的训练。
研究人员认为，即使不是官方数据，GPT-3 的前期培训费用也在 500 万美元左右。
它是第一个通用的生成模型，能够解决各种使用情况。
为了充分利用这种模式，甚至不再需要进行微调。
大多数时候，只需学习几张照片就足够了，实际上，它甚至在零照片学习模式下也能很好地工作。
随后，本着同样的精神，又出现了 ChatGPT 和 GPT-4。
不久之后，OpenAI 又发布了其他类型的颠覆性模型。
多亏了 DALI，我们才有可能从文本中生成精美的图像。
由于 Whisper 的出现，他们大大提高了语音到文本行业的标准。
在本课程中，您可能会注意到许多不同的术语。
机器学习、深度学习、神经网络、自然语言处理、人工智能、生成式人工智能。
有些是具体的技术术语，有些则是时髦的流行语。
我个人认为，自然语言处理是我们今天使用的语言人工智能技术的正确术语。
但这并不重要。
现在，您已经基本了解了我们的人工智能模型的来源。