quiz.json

[
  {
    "question": "人们为 LLM 编写 prompt 时最常犯的错误是什么？",
    "options": ["用了太多 token", "写出模糊、不够具体的指令，让模型只能去猜格式、范围和约束", "用错了 API", "没有用足够多的示例"],
    "correct": 1,
    "explanation": "LLM 会按字面执行指令。「给我写一封营销邮件」没有给模型任何约束。指定语气、受众、长度、格式和约束能产生显著更好的结果。",
    "stage": "pre"
  },
  {
    "question": "一个有效 prompt 的四个核心组成部分是什么？",
    "options": ["输入、输出、模型、温度", "角色（role）、上下文（context）、约束（constraints）和输出格式（output format）", "system、user、assistant、function", "查询、文档、答案、分数"],
    "correct": 1,
    "explanation": "有效的 prompt 会指定：模型应该是谁（角色）、它应该知道什么（上下文）、它应该做和不该做什么（约束），以及如何组织回复（输出格式）。",
    "stage": "pre"
  },
  {
    "question": "为什么你应该在 prompt 中包含输出格式指令？",
    "options": ["它让 prompt 更短", "如果没有格式指令，模型会自己选择结构，这在不同调用间会变化，且难以程序化解析", "它降低 API 成本", "它防止幻觉"],
    "correct": 1,
    "explanation": "LLM 是非确定性的。没有明确的格式指令，一次调用可能返回要点列表，下一次返回散文，再下一次返回 markdown。指定格式能确保输出一致且可解析。",
    "stage": "post"
  },
  {
    "question": "system prompt 的目的是什么？",
    "options": ["对 API 调用进行身份验证", "设定贯穿整个对话的持久行为规则、角色和约束", "定义模型的架构", "压缩对话历史"],
    "correct": 1,
    "explanation": "system prompt 为整个会话确立模型的人设、规则和约束。它在每个用户回合之前运行，是在生产环境中控制模型行为的主要机制。",
    "stage": "post"
  },
  {
    "question": "你应该如何检验一次 prompt 修改是否真的提升了输出质量？",
    "options": ["读几个输出然后凭感觉判断", "在多样化的测试集上运行 prompt，并测量既定指标（准确率、格式合规性、相关性）的变化", "问模型它是不是做得更好了", "检查 API 的响应时间"],
    "correct": 1,
    "explanation": "在少数几个样本上评估 prompt 修改并不可靠。一套系统化的评估框架，配以多样化测试用例和明确指标，才能显示出修改是否在整个分布上有帮助，而不只是精心挑选的样本。",
    "stage": "post"
  }
]