生成式AI和大型语言模型导论
生成式人工智能是一种能够生成文本、图像和其他类型内容的人工智能。它之所以成为一项奇妙的技术，是因为它使人工智能普世化，任何人都可以只用简单的文本提示或自然语言句子来使用它。你不需要学习类似于Java或SQL的语言就能做出有价值的东西，你只需要使用你自己的语言，表达你想要的内容，然后人工智能模型就会给出建议。这对于你写作或阅读报告、编写应用程序等方面有着巨大的应用和影响，而且只需要几秒钟的时间。
在本课程中，我们将探索我们的创业公司如何利用生成式人工智能在教育领域开拓新的应用场景，并如何解决与应用和技术限制相关的必然挑战所带来的社会影响。
引言
本课将介绍以下内容：
- 商业情景简介：我们的创业点子和使命。
- 生成式人工智能及其在现有技术领域中的应用。
- 大型语言模型的内部工作原理。
- 大型语言模型的主要功能和实际用例。
学习目标
完成本课后，你将了解:
- 生成式人工智能和大型语言模型的工作原理。
- 如何利用大型语言模型解决不同的应用案例，重点关注教育场景。
场景：我们的教育创业公司
生成式人工智能（AI）代表了人工智能技术的巅峰，推动了曾经被认为不可能的界限。生成式人工智能模型具有多种功能和应用，但在本课程中，我们将探索它如何通过一个虚构的启动公司来改变教育领域。我们将称这个创业公司为“我们的创业公司”。我们的创业公司在教育领域工作，其雄心勃勃的使命宣言是：
“通过全球尺度上提高学习的可访问性，确保每个学习者都能享有公平的教育，并为每个学习者提供个性化的学习体验。”
我们的创业公司团队意识到，如果不能利用现代时代最强大的工具之一——大型语言模型（LLM），就无法实现这一目标。
生成式人工智能预计将彻底改变今天的学习和教学方式，学生们无论何时何地都可以使用虚拟教师，这些虚拟教师提供大量的信息和示例，而教师们则能够利用创新工具评估学生并给予反馈。
首先，让我们定义一些基本概念和术语，这些术语将贯穿整个课程。
我们是如何得到生成式人工智能的？
尽管最近关于生成式人工智能模型的宣传非常夸张，但这项技术的发展已有数十年历史，最早的研究工作可以追溯到20世纪60年代。现在，人工智能已经具备了类似人类的认知能力，例如，对话已经被展示为可以通过OpenAI ChatGPT或Bing Chat等技术实现，后者还使用了GPT模型用于Bing搜索中的对话。
稍作回顾，最早的人工智能原型是打字聊天机器人，依赖于从一组专家那里提取并在计算机中表示的知识库。知识库中的答案根据输入文本中出现的关键字进行触发。 然而，很快就明显，这种使用打字聊天机器人的方法并不可扩展。
基于统计的人工智能方法：机器学习
在90年代，人们采用了一种基于统计的文本分析方法，这导致了新算法的开发-已知为机器学习的算法-它能够从数据中学习模式，而不需要明确编程。这种方法使机器能够模拟人类语言理解：一个统计模型在文本-标签配对上进行训练，使得模型能够根据消息的目的对未知输入文本进行分类。
神经网络和现代虚拟助手
在最近一段时间，硬件技术的技术进步可以处理更多数据和更复杂计算的能力，鼓励了人工智能领域的研究，进而导致了先进的机器学习算法的发展-称为神经网络或深度学习算法。
神经网络（特别是循环神经网络-RNN）极大地提高了自然语言处理的能力，使得能够以更有意义的方式表示文本的含义，并在句子中赋予单词的上下文意义。
这就是在新世纪的第一个十年里诞生的虚拟助手所使用的技术，这些虚拟助手非常善于解释人类语言，识别需求，并执行满足需求的操作-例如使用预定义脚本回答或使用第三方服务。
当下的生成式人工智能
这就是我们今天的生成式人工智能，可以看作是深度学习的一个子集。
经过几十年的人工智能研究，一种新的模型架构-称为“Transformer”-克服了RNN的限制，可以接受更长的输入文本序列。Transformer基于注意力机制，使模型能够根据输入的权重给出不同的重要性，在文本序列中“更多地关注”最相关信息的位置，而不考虑其在文本序列中的顺序。
大多数最近的生成式人工智能模型-也被称为大型语言模型（LLMs），因为它们处理文本输入和输出-事实上都是基于此架构开发的。这些模型经过训练，使用了大量来自书籍、文章和网站等各种来源的未标记数据，可以调整到各种任务并生成符合语法的文本，带有一定的创造性。因此，它们不仅极大地提高了机器“理解”输入文本的能力，而且还使其能够以人类语言生成原创的响应。
大型语言模型是如何工作的？
在接下来的章节中，我们将探索不同类型的生成式人工智能模型，但现在先来看看大型语言模型是如何工作的，重点关注OpenAI GPT（生成式预训练Transformer）模型。
- Tokenizer，将文本转换为数字：大型语言模型接收文本作为输入并生成文本作为输出。然而，作为统计模型，它们处理数字比文本序列更好。这就是为什么在模型使用之前，每个输入都会经过分词器的处理。标记是一段文本的块-由不同数量的字符组成，因此分词器的主要任务是将输入拆分成一个标记数组。然后，每个标记与一个标记索引进行映射，该索引是原始文本块的整数编码。
- 预测输出标记：给定n个标记作为输入（max n根据不同模型而变化），模型能够预测一个标记作为输出。这个标记然后被并入下一次迭代的输入中，形成一个扩展的窗口模式，以更好地为用户提供一个（或多个）句子作为答案。这解释了为什么，如果你曾经尝试使用ChatGPT，你可能已经注意到有时它看起来停在了一个句子的中间。
- 选择过程，概率分布：模型根据当前文本序列之后出现的概率来选择输出标记。这是因为模型预测了一个概率分布，包括其训练基础上计算得出的所有“下一个标记”的概率。然而，并不总是选择具有最高概率的标记作为结果分布中的输出。这种选择中添加了一定程度的随机性，以使模型以非确定性的方式行动-对于相同输入，我们不会得到完全相同的输出。这种随机性的程度是为了模拟思维过程，可以使用一个称为”温度”的模型参数来调节。
我们的创业公司如何利用大型语言模型？
现在，我们对大型语言模型的内部工作原理有了更好的理解，让我们看看它们可以执行得相当出色的一些常见任务的实际例子，并将目光投向我们的商业场景。 我们说大型语言模型的主要能力是从头开始生成文本，从自然语言的文本输入开始。
但是，输入和输出是什么样的文本？ 大型语言模型的输入被称为提示，而输出被称为完成，这个术语是指模型生成下一个标记来完成当前输入的机制。我们将深入探讨什么是提示以及如何设计它以充分利用模型。但是现在，让我们只说一个提示可能包括：
- 一个指定我们期望从模型得到什么样输出的指令。这个指令有时可能包含一些例子或其他额外的数据。
- 文章、书籍、产品评论等的摘要，以及从非结构化数据中提取洞察力。
- 创意思维和设计文章、论文、作业等.
- 用与代理人对话的形式提出的问题
- 要求完成的一段文本，这其实是在寻求写作协助。
- 一段代码以及解释和文档化的要求，或者是一个要求生成执行特定任务的代码片段的评论。
上述示例很简单，不是对大型语言模型能力的详尽展示。它们只是想展示使用生成式人工智能的潜力，特别是在教育背景下。
此外，生成式人工智能模型的输出并非完美，有时模型的创造性可能适得其反，导致输出是一些词语的组合，而人类用户则可以将其解释为对现实的歪曲，或者可能会引起冒犯。生成式人工智能并不智能-至少在更全面的智能定义中是如此，包括批判性和创造性推理或情感智能；它不是确定性的，也不是可信的，因为幻觉，例如错误的引用、内容和陈述，可能与正确的信息相结合，并以一种令人信服和自信的方式呈现。在接下来的课程中，我们将处理所有这些限制，并看看我们可以采取什么措施来减轻它们的影响。
作业
你的作业是更多地了解生成式人工智能，并试图找出今天还没有使用生成式人工智能的领域。如果使用生成式人工智能与以往的方式有何不同，影响会有何不同？你能做一些你以前不能做的事情，或者你做得更快吗？写一份300字的摘要，描述你理想的人工智能创业公司的样子，并包含“问题”、“我如何使用人工智能”、“影响”以及可选的商业计划等标题。
如果你完成了这个任务，你可能已经准备好申请微软的孵化器Microsoft for Startups Founders Hub了，我们提供Azure、OpenAI的学分，辅导等等，快去看看吧！
知识检测
关于大型语言模型哪些说法是正确的？
- 每次都会得到完全相同的回答。
- 它在做加法、生成可运行的代码等方面做得非常完美。
- 尽管使用相同的提示，但回答可能会有所不同。它在为你生成自然语言或代码的初稿方面也很擅长，但你需要逐步改进结果。
A: 3，LLM是非确定性的，回答可能会有所不同，但你可以通过温度设置来控制它的变化。你也不应该期望它在做事情时完美无缺，它的目的是帮助你做繁重的工作，通常情况下，你会得到一个不错的初步尝试，但需要逐步改进。
好极了！继续前进
想要进一步学习不同的生成式人工智能概念吗？前往持续学习页面查找关于这个主题的其他优秀资源。
现在请跳转到第2课，我们将学习如何探索和比较不同的LLM类型！
本文由极客智坊网页翻译服务自动翻译完成：
原文地址：https://microsoft.github.io/generative-ai-for-beginners/#/01-introduction-to-genai/README
