-
Notifications
You must be signed in to change notification settings - Fork 37
Expand file tree
/
Copy pathquiz.json
More file actions
78 lines (78 loc) · 3.37 KB
/
Copy pathquiz.json
File metadata and controls
78 lines (78 loc) · 3.37 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
{
"lesson": "50-hypothesis-generator",
"title": "顶点课 50 —— 假设生成器",
"questions": [
{
"stage": "pre",
"question": "为什么生成器输出的是一个排序队列,而不是单个假设?",
"options": [
"因为解析器无法读取单条记录",
"因为 runner 需要有深度——当第一个假设失败时,它可以弹出下一个,而不用重新采样",
"因为 mock 模型只能输出列表",
"因为 embedding 需要多个输入"
],
"correct": 1,
"explanation": "生成队列的目的是把采样成本分摊到整个循环中。当第一个假设失败时,runner 直接弹出下一个,无需重新做一次采样。"
},
{
"stage": "pre",
"question": "每一轮的温度递增(temperature ramp)起什么作用?",
"options": [
"提高解析器的容错度",
"扩大采样分布,让后续草稿可以落到离种子更远的地方",
"增加 embedding 维度",
"把种子值放大三倍"
],
"correct": 1,
"explanation": "更高的温度会扩大采样分布。递增机制鼓励每一轮漂移得更远,好让新颖性过滤器有东西可以筛。"
},
{
"stage": "check",
"question": "新颖性过滤器在什么时候拒绝一条草稿?",
"options": [
"当它的排名分数低于阈值时",
"当它与任何已存活草稿的最小余弦距离低于新颖性阈值时",
"当它通过解析但标签数量不对时",
"当它的草稿轮次大于队列长度时"
],
"correct": 1,
"explanation": "新颖性就是与已有存活草稿的最小距离。如果这个距离低于阈值,说明草稿是近似重复的,会被丢弃。"
},
{
"stage": "check",
"question": "排名分数由哪三个部分组合而成?",
"options": [
"延迟、吞吐量、成本",
"新颖性、具体性、可验证性",
"温度、种子、轮次索引",
"变量、指标、基线长度"
],
"correct": 1,
"explanation": "排名分数是新颖性、具体性和可验证性的加权和。每个子分数都在 0 到 1 之间。"
},
{
"stage": "check",
"question": "为什么 mock 语言模型按温度桶(temperature bucket)而不是原始浮点数来索引?",
"options": [
"因为浮点数无法哈希",
"因为桶化让调度离散化了——温度的微小变化就能命中不同的预设草稿",
"因为解析器需要整数",
"因为 embedding 需要它"
],
"correct": 1,
"explanation": "桶化把连续的调度离散化了。两个相邻的温度值可能映射到不同的桶,从而拉出不同的预设草稿,这就是 mock 模拟多样化采样的方式。"
},
{
"stage": "check",
"question": "如果 mock 模型输出的每条草稿都没通过解析器,会怎样?",
"options": [
"生成器抛出硬错误",
"队列为空,每一轮都记录一条解析拒绝日志,失败模式是可审计的",
"runner 用新 prompt 重试",
"新颖性阈值自动降低"
],
"correct": 1,
"explanation": "解析失败会被记录为带有拒绝原因的日志。队列可以返回空而不会让循环崩溃,日志解释了原因。"
}
]
}