GPT(Generative Pre-trained Transformer)是一系列基于Transformer架构的预训练语言模型，由OpenAI推出。它们在自然语言处理任务中表现出色，尤其是在生成式任务(如机器翻译、对话生成、文章摘要等)方面。
GPT系列的主要模型：
1. GPT：发布于2018年，是第一个GPT模型，使用了12层Transformer结构，预训练语料库为WebText，包含8亿个单词。
2. GPT-2：发布于2019年，使用了更大的模型和更多的数据，包括40GB的文本数据和1.5亿个参数。GPT-2在多项自然语言处理任务中表现出色，但由于其能够生成高质量的假新闻和误导性内容，OpenAI选择不公开其完整模型。
3. GPT-3：发布于2020年，是目前最大的GPT模型，包含1750亿个参数。GPT-3在多项自然语言处理任务中表现出色，特别是在生成式任务中表现突出，如语言生成、问答、翻译等。它还可以执行一些简单的计算任务，如加法、减法等。也是在2022年底爆火的一个模型，当chatgpt爆火的时候，很多人基于GPT-3开发了很多相关的应用。
GPT-3.5：发布于2022年，也是因为此模型，OpenAI瞬间爆红，此模型也是官方chat官网使用的模型，在2023年3月份发布官方API接口。
GPT-4：发布于2023年3月14号，也是GPT模型最新版本模型，此模型支持多模态(接受图像和文本输入，输出文本内容)，官方原话是：“OpenAI创建了 GPT-4，这是 OpenAI 努力扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型(接受图像和文本输入，然后文本输出)，虽然在许多现实世界场景中的能力不如人类，但在各种专业和学术基准上已经达到了人类水平的表现。”
GPT-4在各个专业水平上的模拟考试
GPT-4
GPT-4 比以往任何时候都更具创造性和协作性。它可以生成、编辑并与用户一起迭代创意和技术写作任务，例如创作歌曲、编写剧本或学习用户的写作风格。GPT-4 可以更准确地解决难题，这要归功于其更广泛的常识和解决问题的能力。其模型为多模态模型，不仅可以像ChatGPT一样，输入文本进行问题的回答，还可以支持图片的输入。
输入：我可以用这些原料做什么?如下是用户输入的一张图片
输出
你可以用这些原料做很多选择!
一些可能性包括： – 煎饼或华夫饼 – 可丽饼 – 法式吐司 –
煎蛋卷或菜肉馅煎蛋饼 – 乳蛋饼 – 奶油冻或布丁 –
蛋糕或纸杯蛋糕 – 松饼或面包 – 饼干或饼干 这些只是几个例子，
但可能性是无穷无尽的!
GPT-4 能够处理超过 25,000 个单词的文本，允许使用长格式内容创建、扩展对话以及文档搜索和分析等用例。
https://cdn.openai.com/papers/gpt-4.pdf #GPT-4论文
GPT-4 的高级推理能力超越了 ChatGPT
在随意的谈话中，GPT-3.5 和 GPT-4 之间的区别可能很微妙。当任务的复杂性达到足够的阈值时，差异就会出现——GPT-4 比 GPT-3.5 更可靠、更有创意，并且能够处理更细微的指令。为了了解这两种模型之间的区别，OpenAI在各种基准测试中进行了测试，包括最初为人类设计的模拟考试。