ai-engineering-from-scratch-zh/phases/14-agent-engineering/02-rewoo-plan-and-execute/quiz.json at main · fancyboi999/ai-engineering-from-scratch-zh · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
{
  "lesson": "02-rewoo-plan-and-execute",
  "title": "ReWOO 与 Plan-and-Execute：解耦式规划",
  "questions": [
    {
      "stage": "pre",
      "question": "为什么 ReAct 的 prompt 随深度二次方增长？",
      "options": [
        "模型在每一步都对自身重新分词",
        "每一步都携带完整的先前上下文，包括之前的每个 thought 和 observation",
        "工具 schema 在每次调用时被复制",
        "提供商按字节而非按 token 计费"
      ],
      "correct": 1,
      "explanation": "ReAct 在每一步重新纳入先前的 thought 和 observation，使总 prompt 长度随深度的平方增长。"
    },
    {
      "stage": "pre",
      "question": "定义 ReWOO 的三角色拆分是什么？",
      "options": [
        "Reader、Writer、Reviewer",
        "Planner、Workers、Solver",
        "Actor、Evaluator、Reflector",
        "Generator、Critic、Optimizer"
      ],
      "correct": 1,
      "explanation": "ReWOO 分离出发出 DAG 的 Planner、获取证据的 Workers，以及组合最终答案的 Solver。"
    },
    {
      "stage": "check",
      "question": "论文在 HotpotQA 上为 ReWOO 对比 ReAct 报告了哪些标志性数字？",
      "options": [
        "token 减少约 5 倍，准确率绝对值提升 +4",
        "token 多约 2 倍，准确率 +10",
        "token 相同，准确率 +1",
        "token 减少 10 倍，准确率 -2"
      ],
      "correct": 0,
      "explanation": "相比 ReAct，ReWOO 在 HotpotQA 上报告了约 5 倍的 token 削减和 +4 的绝对准确率提升。"
    },
    {
      "stage": "check",
      "question": "ReWOO 计划节点中像 #E1 这样的占位符意味着什么？",
      "options": [
        "worker 1 返回的错误码",
        "一个在派发时被替换为某个更早 worker 节点输出的引用",
        "证据获取的重试计数器",
        "planner 版本标识符"
      ],
      "correct": 1,
      "explanation": "计划节点使用像 #E1、#E2 这样的证据引用，执行器会用上游 worker 的输出来替换它们。"
    },
    {
      "stage": "check",
      "question": "为什么 ReWOO 比 ReAct 更能定位失败？",
      "options": [
        "worker 在任何错误时都会让整个运行崩溃",
        "worker 中的错误变成 Solver 与原始计划一起看到的字符串，因此降级是按节点而非按步骤的",
        "ReWOO 对每次失败的调用最多重试十次",
        "Planner 在每次错误后重新发出一份全新的 DAG"
      ],
      "correct": 1,
      "explanation": "按节点的失败、加上上下文中的原始计划，让 Solver 能优雅降级，而不是在流式过程中从错误里推理出去。"
    },
    {
      "stage": "post",
      "question": "哪种任务形态比起朴素的 ReWOO 更适合 Plan-and-Act？",
      "options": [
        "一个两步的事实查找",
        "一条 40 步的 web 或移动端导航轨迹",
        "单轮分类",
        "一个纯算术问题"
      ],
      "correct": 1,
      "explanation": "Plan-and-Act 是为长程（超过 30 步）的 web 和移动端 agent 而建的，单条 ReAct 轨迹在这种情况下会失去连贯性。"
    },
    {
      "stage": "post",
      "question": "ReWOO 的 planner 蒸馏结果对生产级 agent 意味着什么？",
      "options": [
        "每一步都必须使用前沿模型",
        "一个小 planner（约 7B）可以匹敌大教师模型，因为 planner 从不看 observation",
        "规划质量在 7B 参数以下会下降",
        "蒸馏需要基于梯度的 RL 数据"
      ],
      "correct": 1,
      "explanation": "由于 planner 不看 observation，来自大教师模型的计划轨迹能干净地迁移到一个小的微调 planner 上。"
    }
  ]
}