大模型时代的关键技能-Prompt
大模型时代，拥有提问的智慧似乎更加重要。有了它，能充分挖掘大模型的潜力。好的提问，在大模型领域常常意味着撰写有效的 Prompt。
什么是 Prompt？
在自然语言处理（NLP）和人工智能（AI）领域，”prompt”（提示）一词通常指的是一个输入文本或问题，用于引导模型生成特定类型的输出或响应。它来自英语中的 “prompt”，意为提示、激励或引导。在AI对话系统和聊天机器人中，prompt 是驱动模型回应的关键输入。
在基于 Transformer 的大型预训练模型（如GPT系列）中，prompt 的作用尤为突出。这些模型通常通过在大量文本数据上进行无监督预训练，学习到丰富的知识和语言规律。在实际应用中，我们可以通过提供一个适当的 prompt（例如一个问题或指令），引导模型生成我们所需的输出或回答。这种方法使得预训练模型能够解决多种 NLP 任务，如机器翻译、文本摘要、问答、情感分析等。
我们来看两个具体的 prompt 例子：
例1:
Prompt：解释什么是光合作用。
可能的模型输出：
光合作用是植物、藻类和某些微生物通过阳光、水和二氧化碳产生葡萄糖和氧气的过程。这是一个能量转化的过程，其中阳光的能量被转化为化学能，存储在葡萄糖分子中。
例2
Prompt：写一首关于秋天的短诗。
可能的模型输出：
秋风轻轻吹过林， 金黄的叶片舞起尘。 丰收的季节到来时， 大自然穿上金色衣。
第一个 prompt 要求模型提供一个科学概念的解释，而第二个 prompt 则是一个更加创造性的请求，要求模型创作一首诗。
在大型语言模型（如GPT系列）的训练和应用过程中，prompt 主要在以下两个阶段发挥作用：
- 微调阶段（Fine-tuning）：在微调阶段，模型使用特定任务的标注数据进行训练，以适应新任务。在这个过程中，可以使用任务相关的 prompt 引导模型学习正确的输出。例如，在情感分类任务中，可以将输入文本与一个表示情感类别的 prompt 相结合，让模型在微调过程中学会如何为输入文本预测正确的情感类别。
- 应用阶段（Inference）：在模型应用阶段，模型已经完成预训练和微调，可以处理实际任务。此时，通过提供一个与任务相关的 prompt，可以引导模型生成我们所需的输出。例如，在问答任务中，我们可以将问题作为 prompt 输入模型，模型会根据输入的问题生成一个合适的答案。
Prompt 微调阶段
在微调阶段，指令微调和对齐微调是两种不同的微调方法，它们的主要区别在于输入数据和目标任务的处理方式。prompt 的作用方式略有不同：
- 指令微调中的 prompt：在指令微调中，prompt 通常用于向模型传达一个明确的任务指令。这类prompt直接嵌入在输入数据中，通常包含一个描述任务目标的短语或句子。
例如，在情感分析任务中，可以使用以下 prompt：
- 输入：”{text} 情感是：”
- 输出：”{情感类别}”
- 这里的 “情感是：” 就是一个典型的指令 prompt，它告诉模型本次任务的目标是预测输入文本的情感类别。
- 对齐微调中的 prompt：在对齐微调中，prompt 的作用并非直接提供任务指令，而是通过将输入和输出数据放在一起，让模型自动学会它们之间的对应关系。在这种情况下，输入数据本身可以看作是一种隐含的 prompt。
例如，在机器翻译任务中，可以使用以下输入：
- 输入：”{source_text} {translated_text}”
- 输出：”{translated_text}”
- 这里的 “{source_text} {translated_text}” 作为输入数据，隐含地告诉模型源语言文本和目标语言文本之间的对应关系，从而引导模型学习翻译任务。
指令微调和对齐微调的主要区别在于输入数据的处理方式。指令微调依赖于明确的任务指令来引导模型，而对齐微调通过将输入和输出数据放在一起让模型自动学会对应关系。不同的任务和模型可能需要采用不同的微调方法，具体取决于实际需求和数据可用性。
总的来说，在指令微调中，prompt作为明确的任务指令，直接引导模型完成特定任务；而在对齐微调中，prompt的作用相对隐晦，通过将输入和输出数据放在一起来间接地引导模型。在实际应用中，根据任务需求和数据可用性，可以选择合适的微调方式和prompt设计。
指令微调（Instruction-based fine-tuning）
指令微调（Instruction-based fine-tuning）是一种针对预训练模型（如GPT系列模型）的微调方法，其目的是为了让模型在特定任务上具有更好的性能。指令微调的核心思想是向模型提供明确的任务指令，以引导模型根据指令完成特定任务。在这种微调方法中，输入数据通常包含一个描述任务目标的文本指令。
指令微调可以应用于各种自然语言处理（NLP）任务，例如：
- 文本摘要（Text Summarization）：在这个任务中，指令微调可以通过在输入数据中添加一个明确的摘要指令，引导模型将长文本简化为短文本。例如，输入可以是 “摘要：{long_text}”，输出是 “{summary}”。
- 情感分析（Sentiment Analysis）：在情感分析任务中，指令微调可以通过在输入数据中添加一个明确的情感指令，引导模型预测文本的情感类别。例如，输入可以是 “{text} 情感是：”，输出是 “{sentiment}”。
- 问答系统（Question Answering）：在问答任务中，指令微调可以通过在输入数据中添加一个明确的问题指令，引导模型从给定文本中找到正确答案。例如，输入可以是 “问题：{question} 背景：{context}”，输出是 “{answer}”。
在指令微调过程中，需要注意以下几点：
- 选择合适的任务指令：指令应该足够明确，使模型能够理解任务目标，但不应过于复杂，以免增加模型的学习负担。
- 准备标注数据：指令微调通常需要一定量的标注数据，这些数据需要包含输入-输出对，以便模型学会根据指令生成正确的输出。
- 微调策略：在指令微调过程中，需要确定合适的损失函数、优化算法、学习率等超参数。这些因素将影响微调过程的效果和速度。
对齐微调（Alignment-based fine-tuning）
对齐微调（Alignment-based fine-tuning）是另一种针对预训练模型的微调方法，主要应用于序列到序列（Seq2Seq）任务，如机器翻译、对话生成等。与指令微调不同，对齐微调的核心思想是通过将输入和输出数据放在一起，让模型自动学会它们之间的对应关系，而不是提供明确的任务指令。
对齐微调可以应用于各种序列到序列任务，例如：
- 机器翻译（Machine Translation）：在这个任务中，对齐微调通过将源语言文本和目标语言文本放在一起，让模型学会自动进行翻译。例如，输入可以是 “{source_text} {target_text}”，输出是 “{target_text}”。
- 对话生成（Dialogue Generation）：在对话生成任务中，对齐微调通过将多轮对话中的问句和答句放在一起，引导模型生成自然、连贯的回复。例如，输入可以是 “{dialogue_history} {response}”，输出是 “{response}”。
- 文本摘要（Text Summarization）：虽然文本摘要也可以采用指令微调方法，但在某些情况下，对齐微调也可以应用于文本摘要任务。通过将长文本和相应的摘要放在一起，模型可以学会生成简洁、准确的摘要。例如，输入可以是 “{long_text} {summary}”，输出是 “{summary}”。
在对齐微调过程中，需要注意以下几点：
- 数据准备：对齐微调需要大量的输入-输出对数据，这些数据可以通过人工标注或自动方法获得。数据质量和数量对模型性能至关重要。
- 输入-输出对的设计：根据具体任务，需要设计合适的输入-输出对格式，使模型能够从输入数据中捕捉到有效的对齐信息。
- 微调策略：同样需要选择合适的损失函数、优化算法、学习率等超参数。这些因素会影响微调过程的效果和速度。
对齐微调（Alignment-based fine-tuning）和强化学习自我监督训练（RLHF，Reinforcement Learning from Human Feedback）在某种程度上有关联，因为它们都旨在利用人类提供的反馈来优化模型在特定任务上的表现。然而，它们的方法和侧重点不同。
对齐微调主要用于序列到序列任务，通过将输入和输出数据放在一起，让模型自动学会它们之间的对应关系。对齐微调通常依赖于大量的输入-输出对数据，这些数据可以通过人工标注或自动方法获得。在对齐微调过程中，有监督学习是主要的优化策略。
强化学习自我监督训练（RLHF）则侧重于通过人类反馈来指导模型的行为。在这种方法中，模型首先生成一组候选输出，然后根据人类评估者的反馈来调整其参数。评估者可以为模型提供奖励信号，以便模型在未来的生成过程中优先选择更符合人类期望的输出。RLHF的优化策略通常包括强化学习和有监督学习的组合。
总之，对齐微调和RLHF都试图利用人类反馈来优化模型性能，但它们在方法和应用领域上有所不同。对齐微调更关注序列到序列任务，而RLHF则可以应用于更广泛的场景，例如生成式任务、决策任务等。
Prompt 应用阶段
在应用阶段，prompt 是向预训练模型（如GPT系列模型）提供的输入文本，其目的是引导模型生成符合要求的输出。这是作为个人，日常使用最频繁的场景。
prompt 的使用方式取决于所处理的任务类型。例如：
- 指令式prompt：对于已经经过指令微调的模型，可以在prompt中包含明确的任务指令，以引导模型完成特定任务。
- 问题式prompt：在问答任务中，可以将问题作为prompt，输入模型。
- 完形填空式prompt：在一些任务中，可以使用完形填空式的prompt，让模型根据上下文生成合适的词汇或短语。
- 对话式prompt：在聊天机器人或对话生成任务中，可以将聊天历史作为prompt，输入模型。
以上四类，几乎可以覆盖日常大多数的任务场景。
撰写 prompt 的基本原则
编写 prompt 时，要注意以下几点，以确保模型能够生成符合要求的输出：
- 清晰明确：在编写prompt时，请确保任务指令清晰明确，避免模糊或容易引起歧义的表述。明确的指令有助于模型更好地理解任务需求。
- 上下文信息：在某些任务中，提供足够的上下文信息有助于模型生成自然、连贯的输出。例如，在对话生成任务中，可以将聊天历史作为prompt，以帮助模型生成有针对性的回答。
- 简洁：避免使用过长或过于复杂的prompt，因为这可能导致模型难以理解任务需求或无法生成期望的输出。请尽量使用简洁、直接的表述。
- 考虑模型的微调策略：根据模型的微调策略（如指令微调或对齐微调），编写合适的prompt。对于指令微调的模型，可以在prompt中包含明确的任务指令；而对于对齐微调的模型，则需要将输入和输出数据放在一起作为prompt。
- 多次尝试：在实际应用中，可能需要尝试多种不同的prompt，以找到最能引导模型生成期望输出的那一个。请根据实际需求进行调整。
常见的 prompt 框架
一些常见的prompt框架，可根据任务类型进行调整：
- 指令式框架：“任务指令：{input_text}”。例如：“摘要：{long_text}”。
- 问题式框架：“问题：{question}”。例如：“问题：谁是美国的第一任总统？”。
- 完形填空式框架：“{context_with_blank}”。例如：“苹果的颜色通常是{blank}的”。
- 对话式框架：“用户：{user_input} 机器人：{bot_response}”。例如：“用户：你好，机器人。 机器人：你好，有什么我可以帮您的？”。
- 任务分解框架：将任务分解为几个较小的子任务，并逐步提供细化的prompt。例如，在生成长篇文章时，先让模型生成大纲，然后根据大纲逐步细化内容。
在应用阶段，prompt 通常以自然语言提示的方式使用，但它们并不仅限于此。预训练模型（如GPT系列）可以处理多种类型的输入，包括代码、数学表达式等。 以下是一些非自然语言提示的示例：
- 代码提示：对于编程相关任务，可以在prompt中提供代码片段，以引导模型生成相关代码。例如，如果你希望模型生成一个Python函数，可以使用如下prompt：”编写一个Python函数，该函数接受一个整数列表作为输入，并返回列表中最大的整数。示例代码：\n\ndef find_max(numbers: List[int]) -> int:\n”。这样，模型将生成相应的代码来完成这个函数。
- 数学表达式提示：在数学问题解决任务中，可以将数学表达式作为prompt输入模型。例如，输入 “求解方程：2x + 3 = 7”，模型将生成相应的数学解 “x = 2”。
- 表格数据提示：对于处理表格数据的任务，可以将表格数据以文本形式作为prompt输入模型。例如，将一组表格数据转换成逗号分隔值（CSV）格式，并将其作为输入。模型可以根据这些数据生成相应的分析报告或预测结果。
- 符号或特殊字符提示：在某些任务中，可以使用符号或特殊字符作为prompt。例如，在化学任务中，可以使用化学方程式作为输入，让模型生成相应的解释或分析。
评估 prompt 效果
评估一个prompt的效果，通常需要考虑的关键指标：
- 准确性：观察模型在给定prompt的情况下产生的答案或输出是否准确。在监督学习任务中，可以将模型的输出与标签数据进行比较，计算准确率、精确率、召回率等指标。
- 一致性：检查模型是否能够在多次运行时产生一致的结果。如果一个prompt能够让模型始终产生相似的高质量输出，说明该prompt具有较好的一致性。
- 可理解性：评估模型生成的输出是否易于理解。一个好的prompt应当能引导模型生成清晰、简洁且逻辑连贯的回答。
- 完整性：观察模型的输出是否完整地回答了prompt中提出的问题。一个高质量的prompt应能让模型充分理解问题，生成全面的回答。
- 适用性：评估prompt在不同任务和场景下的通用性。一个好的prompt应当在多种情况下仍然能够引导模型产生合适的输出。
为了评估prompt的效果，可以采用以下方法：
- 对照实验：为同一任务编写多个不同的 prompt，观察它们在引导模型生成输出时的表现。通过比较多个prompt的效果，可以找到最佳的prompt。
- 人工评估：邀请人类评估者对模型生成的输出进行评分。可以设定一个评分标准，让评估者根据输出的质量、准确性和可理解性进行评分。
- 自动评估指标：使用自动评估指标（如BLEU、ROUGE等）来衡量模型生成的输出与参考答案之间的相似度。这些指标可以提供一个量化的评估结果。
如何优化 prompt
有多种方法可以使 prompt 获得更好的生成结果，例如：
- 上下文学习：为了获得更自然、连贯的生成结果，可以在prompt中提供足够的上下文信息。这有助于模型理解任务需求并生成与上下文一致的回应。例如，在对话生成任务中，可以将聊天历史作为prompt，让模型生成自然、有针对性的回答。
- 思维链提示：这种方法旨在通过引导模型遵循特定的思维链来生成输出。在prompt中，可以提供一些关键词或概念，以帮助模型沿着预期的思维路径进行推理。例如，在解决问题或进行论证的任务中，可以使用 “首先，{point1}；其次，{point2}；最后，{point3}” 这样的prompt，以引导模型逐步展开论述。
- 逐步细化：在某些任务中，一次性给出完整的prompt可能导致模型无法生成满意的结果。这时，可以考虑将任务分解为几个较小的子任务，并逐步向模型提供更细化的prompt。例如，在生成长篇文章时，可以先让模型生成大纲，然后根据大纲逐步细化内容。
- 控制生成质量：在应用阶段，除了设计合适的prompt外，还可以通过调整一些生成参数来控制生成质量。例如，可以调整生成温度、最大生成长度、截断策略等参数，以获得更好的输出结果。
- 实时反馈：某些应用场景可能需要用户与模型进行实时互动，这时可以考虑将用户的实时反馈作为prompt的一部分，以帮助模型生成更符合用户期望的输出。例如，在与聊天机器人互动时，可以将用户的即时问题或建议作为prompt，让模型根据用户反馈进行调整。
在应用阶段，选择和设计合适的prompt是关键。我们可以根据任务类型、模型的微调策略以及实际应用需求来尝试上述方法，以提高模型在特定任务上的表现。同时，可能需要尝试多种不同的prompt，以找到最能引导模型生成期望输出的那一个。
未来会持续更新优质的指令案例库，敬请期待。