quiz.json

{
  "lesson": "20-shadow-canary-progressive",
  "title": "面向 LLM 的影子流量、金丝雀发布与渐进式部署",
  "questions": [
    {
      "stage": "pre",
      "question": "为一次 LLM 上线安排影子（shadow）、金丝雀（canary）和 A/B 测试的正确顺序是什么？",
      "options": [
        "先影子（零影响对比），再金丝雀（带门禁的线上流量渐进），待稳定性确认后再用 A/B 比较不同的备选方案",
        "完全跳过影子",
        "先金丝雀，再影子，再 A/B",
        "先 A/B，再影子，再金丝雀"
      ],
      "correct": 0,
      "explanation": ""
    },
    {
      "stage": "check",
      "question": "本课用哪一组五项指标作为金丝雀推进的门禁？",
      "options": [
        "GPU 温度、风扇转速、队列深度、成本、延迟",
        "仅离线评测的准确率",
        "延迟分位数、每请求成本、错误/拒绝率、输出长度分布、用户反馈率",
        "只看吞吐量"
      ],
      "correct": 2,
      "explanation": ""
    },
    {
      "stage": "check",
      "question": "本课引用的：对相同输入，LLM 逐次运行的准确率方差大约是多少？",
      "options": [
        "低于 0.1%",
        "逐次运行输出完全相同",
        "总是 50%",
        "高达约 15%，源于 GPU 浮点的非结合性加上批次大小的方差"
      ],
      "correct": 3,
      "explanation": ""
    },
    {
      "stage": "check",
      "question": "在本课的框架下，影子模式是做什么用的？",
      "options": [
        "替代回滚",
        "一项可替代评测的完整质量测试",
        "生产上线的最后一步",
        "一项冒烟测试，用于捕捉成本暴涨、长度回退、拒绝变化和硬错误 —— 并非质量保证"
      ],
      "correct": 3,
      "explanation": ""
    },
    {
      "stage": "post",
      "question": "按本课所述，正确的回滚设计是什么？",
      "options": [
        "等待下一个发布窗口",
        "用新的模型摘要（digest）重新部署，耗时数小时",
        "翻转一个策略开关并在数秒内回退到固定的模型摘要 —— 无需重新部署",
        "手动 SSH 到每个 pod"
      ],
      "correct": 2,
      "explanation": ""
    },
    {
      "stage": "post",
      "question": "为什么把成本与延迟、质量并列为一道门禁？",
      "options": [
        "一个好 20% 的模型，每次调用可能贵 3 倍；不设成本门禁就上线会破坏单位经济模型",
        "成本会被每家供应商自动封顶",
        "成本是个虚荣指标",
        "各供应商的成本都相同"
      ],
      "correct": 0,
      "explanation": ""
    }
  ]
}