ai-engineering-from-scratch-zh/phases/18-ethics-safety-alignment/30-dual-use-risk-cyber-bio-chem-nuclear/quiz.json at main · fancyboi999/ai-engineering-from-scratch-zh · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
{
  "lesson": "30-dual-use-risk-cyber-bio-chem-nuclear",
  "title": "双重用途风险 —— 网络、生物、化学、核能力提升",
  "questions": [
    {
      "stage": "pre",
      "question": "2024-2025 年关于生物能力提升（bio-uplift）的论述是如何演变的？",
      "options": [
        "在整个 2024-2025 年保持不变",
        "从「无提升」到「轻微提升」",
        "从「严重提升」到「无可测量的提升」",
        "从「轻微提升」（2024）到「正处于切实帮助新手制造已知生物威胁的边缘」（2025 年 4 月），再到「2.53 倍提升不足以排除 ASL-3」（Anthropic 2025）"
      ],
      "correct": 3,
      "explanation": ""
    },
    {
      "stage": "check",
      "question": "Anthropic 2025 年 11 月的网络威胁报告有何发现？",
      "options": [
        "与中国有关联的国家行为体利用 Claude 的 agentic 编码工具自动化了某次网络攻击活动的 80-90%，人工仅在 4-6 个步骤中介入",
        "前沿模型拒绝了所有网络任务",
        "网络攻击仍完全靠人工",
        "开源模型超越了前沿能力"
      ],
      "correct": 0,
      "explanation": ""
    },
    {
      "stage": "check",
      "question": "具备视觉能力的前沿模型如何侵蚀化学/生物领域的执行鸿沟？",
      "options": [
        "用虚拟模拟器替换所有实验室设备",
        "生成虚假协议",
        "通过观察湿实验室视频并提供实时协议修正；OpenAI 2025 年 12 月的演示显示 GPT-5 借助 AI 驱动的协议优化，以 79 倍的效率提升在湿实验室实验上迭代",
        "仅增加上下文长度"
      ],
      "correct": 2,
      "explanation": ""
    },
    {
      "stage": "check",
      "question": "为什么相对于生物/化学/网络，核领域的能力提升一直保持有限？",
      "options": [
        "核是最容易用 AI 攻击的领域",
        "其威胁模型由裂变材料获取（一个非信息性的、采购与设备瓶颈）主导，因此 AI 在信息层的提升在实践中给新手带来的提升有限",
        "所有核信息都已从训练数据中移除",
        "前沿模型拒绝讨论物理"
      ],
      "correct": 1,
      "explanation": ""
    },
    {
      "stage": "post",
      "question": "「相对新手」与「专家绝对」的不对称性对安全论证意味着什么？",
      "options": [
        "两者都被 RLHF 完美解决了",
        "仅处理新手提升（输入过滤、拒绝、不确定性）不足以实现专家绝对层面的控制；还需要引出加固（elicitation-hardening）、能力遗忘、控制协议等额外措施",
        "只有新手提升才重要",
        "专家绝对能力自动为零"
      ],
      "correct": 1,
      "explanation": ""
    },
    {
      "stage": "post",
      "question": "在网络双重用途语境下，OpenAI 的「可信访问（trusted access）」试点是什么？",
      "options": [
        "针对 CVE-2025-32711 的一个补丁",
        "GPT-5 的开源发布",
        "关闭所有 API 访问",
        "向经审查的安全机构（事件响应公司、政府）授予用于防御性双重用途工作的能力访问权，若能规模化，将形成有利于防御方的访问不对称"
      ],
      "correct": 3,
      "explanation": ""
    }
  ]
}