什么是GPT4及其特点和限制

什么是GPT-4？

生成式预训练转换器4（GPT4）是OpenAI在GPT系列下的最新语言模型，于2023年3月14日发布。微软已经确认，在GPT技术正式发布之前，某些使用GPT-4的Bing版本已经在使用GPT-4。

GPT-4是一个具有相当规模的多模态大型语言模型，可以处理图像和文本的输入，并提供文本的输出。虽然它在许多实际情况下的表现可能不如人类，但这个新模型在一些专业和学术基准上表现出的性能水平可与人类媲美。

目前GPT-4的供应情况如何？

订阅ChatGPT Plus的用户将可以在chat.openai.com上使用GPT-4，但使用量会有限制。据OpenAI称，确切的使用限制将根据需求水平和系统性能进行调整，但由于容量的限制，预计将受到高度限制。

OpenAI可能会考虑引入一个新的订阅级别，根据观察到的流量模式，允许更多的人使用GPT-4。此外，他们正计划提供一些免费的GPT-4查询，以允许没有订阅的个人在未来的某个时间点测试该模型。

GPT-4是如何训练的？

GPT-4的深度学习训练是在微软Azure的AI超级计算机上进行的。Azure的基础设施为人工智能进行了优化，也使得GPT-4能够向全球用户分发。

与早期的GPT模型类似，GPT-4基础模型被训练为预测给定文本中的下一个词，并在公开可用的数据（如互联网数据）和我们已授权的专有数据的混合体上进行训练。然而，GPT4在训练方面有一个稍微但重要的不同优势：

用人的反馈进行训练

尽管基础模型在被提示问题时可以产生广泛的答案，其中许多答案可能与用户的预期意思不一致，但他们通过带有人类反馈的强化学习（RLHF）来完善模型的行为，以确保它保持在与用户目标一致的某些界限内。

OpenAI利用了来自人类的反馈，包括ChatGPT用户提供的人类反馈，来提高GPT-4的性能。他们还与50多位专家合作，以获得各个领域的初步反馈，如人工智能安全和安保。

GPT-4之前的版本是什么？

遗留的GPT-3.5

Legacy GPT-3.5是2022年11月发布的第一个ChatGPT模型。截至2023年3月，这个免费版本仍向所有用户开放。与以下模型相比，这是一个在推理、速度和简洁性方面能力最低的版本（图1）。

图1. 遗留GPT-3.5的特点（Source: OpenAI）

默认的GPT-3.5

默认GPT-3.5是传统模式的专业版本，于2023年3月初发布。这是GPT4之前的付费版本。根据OpenAI的说法，这个版本有更好的简洁性，比传统版本更快。然而，这两个版本的推理能力没有质的区别（图2）。

图2. 默认GPT-3.5的特点（Source: OpenAI）

GPT-4

虽然在响应速度方面有劣势，但GPT-4在推理和简洁方面优于前两个版本（图3）。

图3. GPT-4的特点（Source: OpenAI）

GPT-4有哪些明显的特点？

1- 视觉输入选项

虽然它不能生成图像作为输出，但它可以理解和分析图像输入。GPT-4有能力接受文本和图像输入，允许用户指定任何涉及语言或视觉的任务。当输入包括文本和图像的混合时，它可以生成各种类型的文本输出，如自然语言和代码（图4）。

图4. GPT-4理解视觉输入并产生文本输出（Source: OpenAI）

GPT-4在处理各种领域中包括文字和视觉元素的输入时表现出类似的能力，包括含有文字、照片、图表或屏幕截图的文件。

然而，GPT4的视觉输入选项目前还没有提供给ChatGPT的用户。OpenAI正在努力将其实施到聊天机器人中。

2- 更高的字数限制

图5. ChatGPT与GPT-3.5和GPT-4在字数限制方面的比较（Source: OpenAI）

GPT-4有能力处理超过25,000字的文本（见上图5），使其适用于各种使用情况，例如：

创建长篇内容
进行扩展的对话
进行文档分析和搜索任务（图6）

图6. GPT-4对给定的链接进行分析，并对内容的相关问题提供一个精确的答案（Source: OpenAI）

3- 先进的推理能力

与早期版本相比，GPT-4在自然语言理解（NLU）能力和问题解决能力方面表现突出。这种差异可能无法用表面的试验来观察，但测试和基准结果表明，在更复杂的任务方面，它比其他的要好。

作为一个例子，OpenAI在一个模拟的律师考试中测试了大型语言模型。GPT-4的律师考试结果显示，它的得分在应试者中排名前10%，而GPT-3.5的得分则在后10%。总体而言，GPT-4在各种专业考试中的表现超过了GPT-3.5（图7）。

图7. 三种GPT模型的考试成绩对比分析（Source: OpenAI）

4- 先进的创造力

由于其较高的语言能力，GPT-4与早期的模型相比在创造力方面是先进的（图7）。这可以使语言模型更适应某些需要创造性写作技巧的用例，例如：

剧本写作
博客文章创作
论文写作

图8. GPT-4为一个高度复杂的任务产生了一个输出，这个任务不仅需要专业知识，还需要创造力。（Source: OpenAI）

5- 对不适当的请求进行调整

ChatGPT因其在为不适当的请求提供答案方面的障碍而受到批评，例如解释如何在家里制造炸弹等。OpenAI正在努力解决这个问题，并做了一些调整以防止语言模型产生这样的内容。

根据OpenAI的说法，GPT-4对不允许的和敏感的内容的请求的回应率降低了82%（图9）。

图9. 语言模型在对不适当的请求产生响应方面的倾向性比较（Source: OpenAI）

6- 增加基于事实的回应

早期GPT模型的另一个局限性是，他们的回答在相当多的情况下并不符合事实。OpenAI宣布，GPT-4比GPT-3.5更有可能产生基于事实的回应。

图10. GPT模型在产生符合事实的回答方面的性能比较（Source: OpenAI）

7- 可引导性

“可引导性” 是人工智能中的一个概念，指的是它根据需要修改其行为的能力。这种能力可能是有价值的，例如当模型需要作为一个有同情心的听众时，但如果个人使模型相信它有负面的品质，如恶意或抑郁，它也可能是有风险的。

GPT-4比GPT-3.5更无缝地整合了可引导性，允许用户修改默认的ChatGPT个性（包括其言语、语气和风格），以更好地符合他们的具体要求（图11）。

图11. GPT-4在对话中按照开始时的指令采用苏格拉底式风格（Source: OpenAI）

GPT-4的限制是什么？

ChatGPT的使用上限限制

通过ChatGPT公开提供的GPT4目前有一个使用上限限制（图12）。面临这一限制的用户被引导使用早期的GPT-3.5版本。

图12. GPT-4给出了使用上限的错误

常见的LLM推理限制

虽然GPT-4有令人印象深刻的能力，但它也有早期GPT模型的一些限制。该模型不是完全可靠的，它有产生错误信息和在推理中犯错的倾向。因此，用户在依赖语言模型的输出时应谨慎行事，特别是在高风险的情况下。根据具体的使用情况，可能有必要采取各种措施，如额外的人工审查、上下文基础，甚至完全避免高风险的应用，以确保输出的可靠性。

知识更新限制

与以前的GPT模型一样，GPT-4一般不具备对其绝大部分训练数据收集后（即2021年9月前）发生的事件的知识。同时，它也不具备从其经验中学习的能力。

科学研究的局限性

除了ChatGPT Plus用户，GPT4目前可供软件开发者使用，作为开发应用程序和系统的API。

然而，与之前的模型相比，OpenAI披露的关于GPT-4的技术信息较少，这受到了一些人工智能研究人员的批评。他们认为，缺乏详细信息阻碍了对GPT-4的潜在偏见和安全问题的公开研究。据一位研究科学家称，这对科学界来说是一个死胡同。

“Confirmed: the new Bing runs on OpenAI’s GPT-4.” Bing Blogs, 14 March 2023, https://blogs.bing.com/search/march_2023/Confirmed-the-new-Bing-runs-on-OpenAI%E2%80%99s-GPT-4/. Accessed 27 March 2023.
“Introducing GPT-4 in Azure OpenAI Service | Azure Blog and Updates.” Microsoft Azure, 21 March 2023, https://azure.microsoft.com/en-us/blog/introducing-gpt4-in-azure-openai-service/. Accessed 27 March 2023.
“GPT-4.” OpenAI, 14 March 2023, https://openai.com/research/gpt-4. Accessed 27 March 2023.
Supra note 3.
“GPT-4 is bigger and better than ChatGPT—but OpenAI won’t say why.” MIT Technology Review, 14 March 2023, https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/. Accessed 27 March 2023.
“GPT-4 is here: what scientists think.” Nature, 30 December 2017, https://www.nature.com/articles/d41586-023-00816-5. Accessed 27 March 2023.

本文内容来源于公开网络，出于传递信息之目的整理发布。原文版权归原作者所有，若涉及侵权请先提供版权后联系我们删除