罗马不是一天建成的。
当人工智能对话工具ChatGPT一夜之间成为顶尖，在有些沉闷的科技世界中如闪电般闪耀时，它仿佛点亮了一盏指引投资界方向的灯塔，一些商界人士开始感到自己的“动荡”。心。
确实，这一成就是前所未有的。 ChatGPT 是历史上增长最快的互联网服务，推出后短短两个月内就获得了1 亿用户。它被内置于微软的Bing搜索引擎中，瞬间将Google从神坛上拉下来，并正在为搜索引擎诞生以来的一个重大转折做出贡献。
但ChatGPT 并不是凭空出现的。该聊天机器人是多年来一系列大规模语言模型中最完整的。如果回顾一下ChatGPT的简史，你会发现在它诞生之前，有无数的技术迭代和理论发展为其铺平了道路。
20 世纪50 年代和1960 年代：符号和亚符号人工智能
人工智能一词始于1956年美国达特茅斯学院，几十年来其发展阶段经历了“三起两落”。经历了“寒冬”和“盛夏”：几件重大事件都曾一度将其归咎于悄无声息的人工智能研究再次成为广泛讨论的热点话题。 ChatGPT的成功源于以深度学习为代表的人工智能技术的长期积累。
在1956 年的达特茅斯会议上，约翰·麦卡锡、马文·明斯基、克劳德·香农、艾伦·纽厄尔和赫伯特·西蒙等科学家齐聚一堂，讨论使用机器来模仿人类。学习和智力的其他方面。今年被称为人工智能诞生元年。
人工智能领域主要有两大类，一类是符号人工智能（symbolic AI），另一类是基于感知器的亚符号人工智能（subsymbolic AI）。前者的基本假设是智能问题可以归类为“符号推理”过程。这一理论可以追溯到计算机鼻祖法国科学家帕斯卡和德国数学家莱布尼茨。真正体现这一理念的所谓智能机器起源于英国。查尔斯·巴贝奇和艾伦·图灵的开创性工作。
亚符号人工智能的出现归因于行为主义认知理论的兴起，其思想基础是“刺激-反应理论”。继美国神经生理学家Warren McCulloch 和Walter Pitts 提出神经元模型之后，心理学家Frank Rosenblatt 提出了感知器模型，奠定了神经网络的基础。
早期的神经网络技术秉承了人工智能深度学习“逐层、逐层抽象”的基本思想。 MCP 神经元、感知器和前馈神经网络等模型出现。它们通常由多个处理信息并相互交互的进程组成。它由连接的“神经元”组成，其灵感来自于人脑中连接的神经元之间的信息交换。
在20 世纪50 年代和20 世纪60 年代，人工智能在两个方向上都停滞不前：符号演算和感知器。曾在麻省理工学院和加州大学伯克利分校任教的休伯特·德雷福斯(Hubert Dreyfus) 在1965 年发表了一份报告《炼金术与人工智能》，将当时进行的神经网络研究与历史炼金术进行了比较，尖锐地指出，爬上树顶与爬上树顶是不一样的。月亮。 1973年，《莱特希尔报告》批评了当时的象征主义人工智能，认为“迄今为止的发现尚未产生当时所承诺的重大影响”。人工智能首次跌入低谷。
20世纪80年代出现的专家系统和神经网络，由于受到计算能力和对智能理解的限制，并未取得实质性突破，导致人工智能陷入第二低点。
但自20世纪80年代以来，已经种下了一颗大树。
20 世纪80 年代和90 年代：循环神经网络
理解和使用自然语言是人工智能面临的最大挑战之一。语言往往充满歧义，极其依赖上下文，并且使用语言进行交流的各方通常需要大量共同的背景知识。与人工智能的其他领域一样，自然语言处理相关的研究在最初的几十年里主要集中在符号化、基于规则的方法上，并没有取得很好的成果。循环神经网络改变了一切。
ChatGPT 是大型语言模型GPT-3 的会话版本，GPT-3 是经过大量文本训练的神经网络。由于文本由不同长度的字母和单词序列组成，因此语言模型需要一个能够“理解”此类数据的神经网络。循环神经网络发明于20 世纪80 年代，可以处理单词序列。一个问题是它们训练速度很慢，并且可能会忘记序列中之前的单词。
1997年，计算机科学家Sepp Hochreiter和Jrgen Schmidhuber通过发明长短期记忆（LSTM）网络解决了这个问题，这是一种具有特殊组件的循环神经网络，可以在输入序列中保留过去的数据更长的时间。 LSTM 可以处理数百个单词长的文本字符串，但它们的语言能力有限。
在人工智能处理自然语言、神经网络和机器学习取得重大突破的前夕，2016年神经网络和机器学习经历了一次“出圈”事件。谷歌的AlphaGo赢得了各类围棋比赛的胜利，向全世界普及了人工智能科学。 DeepMind联合创始人肖恩·莱格（Shane Legg）认为，超人类水平的人工智能将在2025年左右出现。谷歌公司战略委员会成员雷·库兹韦尔（Ray Kurzweil）提出了令人震惊的“奇点理论”，认为完全通过图灵测试的智能机器将于2029年出现，并将基于强大的人工智能。智力爆炸将出现在2045年。
AlphaGo击败了李世石和柯洁。
2017：变形金刚
谷歌研究人员团队发明了Transformer，这是一种神经网络，可以跟踪每个单词或短语在序列中出现的位置，从而实现了当今一代大型语言模型的突破。一个单词的含义通常取决于它之前或之后的其他单词的含义。通过跟踪这些上下文信息，Transformer 可以处理更长的文本字符串并更准确地捕获单词的含义。例如，“热狗”在句子“热狗应该多喝水（狗热的时候应该多喝水）”和“热狗应该和芥末一起吃（热狗应该和芥末一起吃）” ” 具有完全不同的含义。
Google 发布Transformer 的著名论文。
Transformer可以同时并行进行数据计算和模型训练，训练时间更短，并且训练出来的模型可以进行语法解释，即模型是可解释的。
经过训练，Transformer 在翻译准确率和英语成分句法分析方面均排名业界第一，成为当时最先进的深度学习模型。
从诞生的那一刻起，Transformer就深刻影响了随后几年人工智能领域的发展轨迹。短短几年时间，这个模型的影响力就蔓延到了人工智能的各个领域，从各种自然语言模型到预测蛋白质结构的AlphaFold2模型。
2018：GPT-1
Transformer诞生不到一年，人工智能研究机构OpenAI就推出了拥有1.17亿个参数的GPT-1模型。 GPT是Generative Pre-training Transformer（生成预训练变压器）的缩写，它使用基于大量数据Trained Transformer的模型。该公司希望开发多技能、通用的人工智能，并相信大规模语言模型是实现这一目标的关键一步。
GPT 将Transformer 与无监督学习相结合，无监督学习是一种基于事先未注释的数据训练机器学习模型的方法。这使得软件能够自行查找数据中的模式，而无需被告知它正在查看什么。机器学习之前的许多成功都依赖于监督学习和注释数据，但手动标记数据是一项缓慢的工作，因此限制了可用于训练的数据集的大小。
最终经过GPT训练的模型在问答、文本相似度评估、语义蕴涵判定、文本分类四种语言场景中取得了比基础Transformer模型更好的效果，成为业界新的第一。
要创造通用人工智能，“你需要数十亿美元的投资”。 OpenAI LP 首席科学家Ilya Sutskever（左）在2019 年表示。他与该公司时任首席技术官Greg Brockman 坐在一起。
2019：GPT-2
微软向OpenAI 投资10 亿美元。同年，OpenAI 发布了一个拥有15 亿个参数的模型：GPT-2。模型架构与GPT-1原理相同，主要区别是GPT-2更大（10倍）。同时，他们发表了论文《Language Models are Unsupervised Multitask Learners》介绍了这个模型。在这项工作中，他们使用了收集的新数据集，其中主要包含网络文本信息。不出所料，GPT-2模型打破了大型语言模型在多种语言场景下的评分记录，引起了更大的轰动。但OpenAI 表示，它非常担心人们使用GPT-2“产生欺骗性、偏见或辱骂性语言”，并且不会发布完整模型。
2020：GPT-3
GPT-2 令人印象深刻，但OpenAI 的后续GPT-3 引起了更大的轰动，在生成类人文本的能力上实现了质的飞跃。 GPT-3可以回答问题、总结文档、生成不同风格的故事、英语、法语、西班牙语和日语之间的翻译等等。其模仿能力令人难以置信。
最重要的结论之一是GPT-3 的好处来自于超大规模扩展现有技术，而不是发明新技术。 GPT-3有1750亿个参数，比之前的两个GPT模型要大得多：一个基本过滤的全网络爬虫数据集（4290亿字）、维基百科文章（30亿字）、两个不同的书籍数据集（总共670 亿字）。其模型架构与GPT-2没有本质区别。
GPT-3问世时，并没有提供广泛的用户交互接口，需要用户提交申请。申请通过后才能注册，所以直接体验GPT-3模式的人并不多。
经过早期测试，OpenAI 将GPT-3 商业化：付费用户可以通过应用程序编程接口（API）连接到GPT-3，并使用该模型完成所需的语言任务。 2020年9月，微软获得了GPT-3模型的独家许可，这意味着微软拥有GPT-3源代码的独家访问权限。
与此同时，上一代的缺点被进一步放大，谷歌人工智能伦理团队联合负责人Timnit Gebru 共同撰写了一篇论文，强调了与大型语言模型相关的潜在风险。虽然危险，但该论文并不受公司内部高级管理人员的欢迎。 2020 年12 月，格布鲁被解雇。
2022 年1 月：指导GPT
GPT-3公测期间，用户提供了大量的对话和提示数据，OpenAI内部数据标注团队也生成了许多手动标注的数据集。 OpenAI 使用这些数据使用监督训练对GPT-3 进行微调，收集微调模型生成的答案样本，使用奖励模型和更多注释数据继续优化微调语言模型，并进行迭代。终于得到了InstructGPT。 InstructGPT 更擅长遵循人类指令，并且产生更少的攻击性语言、更少的错误信息和更少的总体错误。
大型语言模型的一个常见问题是训练它们的成本使得只有最富有的实验室才能创建一个。这引起了人们的担忧，即这种强大的人工智能是由小型企业团队秘密开发的，没有经过适当的审查或更广泛的研究界的投入。作为回应，几个合作项目开发了大型语言模型，并将其免费发布给任何想要研究和改进该技术的研究人员。 Meta 构建并提出了OPT，它是GPT-3 的重构。 Hugging Face 领导了一个由大约1,000 名志愿者研究人员组成的联盟来构建和发布BLOOM。
OpenAI 工作人员与Dota 2 电子竞技团队OG 成员合影。
2022 年12 月：ChatGPT
最终，ChatGPT 将于2022 年12 月上线。与InstructGPT模型类似，ChatGPT是OpenAI对GPT-3模型进行微调后开发的会话机器人。 OpenAI官网信息显示，ChatGPT和InstructGPT是姐妹模型。与InstructGPT 一样，ChatGPT 也根据人类测试人员的反馈使用强化学习进行训练，测试人员对其性能进行了评估，使其成为流畅、准确且无害的会话工具。从那时起，全世界有1亿人在与它聊天。
用户在社交媒体上发布的对话示例表明，ChatGPT 可以完成一系列常见的文本输出任务，包括编写代码、纠正代码错误、翻译文档、写小说、撰写商业文案、创建菜谱、做作业、评估作业等. ChatGPT 比GPT-3 更好的地方在于，前者在回答时更像是在与用户进行对话，而后者更擅长产出长文章，缺乏言语表达。
ChatGPT一夜爆红后，引起了全世界的高度关注。有业内人士认为，它将影响包括搜索引擎、广告、教育等领域。 2022年12月，谷歌内部发布红色警报并开始紧急响应。
ChatGPT在接受《时代》专访时回复：我还有很多限制，但人类应该做好应对AI的准备。
