Skip to content

Commit bab918e

Browse files
authored
chore(robots): 显式放行中文搜索引擎蜘蛛(百度/搜狗/360/字节/华为) (#29)
Bytespider 和 PetalBot 此前被上游反 AI 训练模板封禁;本站目标读者全在 国内,字节系(头条/抖音搜索、豆包)和花瓣搜索是重要分发入口,解封。 百度/搜狗/360 原本走 * 兜底放行,补显式条目固化意图,防未来模板改动误伤。
1 parent 2dffdff commit bab918e

1 file changed

Lines changed: 18 additions & 6 deletions

File tree

site/robots.txt

Lines changed: 18 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -10,6 +10,24 @@ Allow: /
1010
User-agent: DuckDuckBot
1111
Allow: /
1212

13+
# --- Allowed: 中文搜索引擎(目标读者在国内,显式放行)---
14+
# Bytespider 同时喂头条/抖音搜索和豆包,接受其抓取训练的代价换国内分发入口;
15+
# PetalBot 是华为花瓣搜索(上游模板把它当 SEO scraper 封了,对中文站是误伤)。
16+
User-agent: Baiduspider
17+
Allow: /
18+
19+
User-agent: Sogou web spider
20+
Allow: /
21+
22+
User-agent: 360Spider
23+
Allow: /
24+
25+
User-agent: Bytespider
26+
Allow: /
27+
28+
User-agent: PetalBot
29+
Allow: /
30+
1331
# --- Allowed: agent browsers (user-initiated, send AI users) ---
1432
User-agent: ChatGPT-User
1533
Allow: /
@@ -63,9 +81,6 @@ Disallow: /
6381
User-agent: Applebot-Extended
6482
Disallow: /
6583

66-
User-agent: Bytespider
67-
Disallow: /
68-
6984
User-agent: Amazonbot
7085
Disallow: /
7186

@@ -112,9 +127,6 @@ Disallow: /
112127
User-agent: DotBot
113128
Disallow: /
114129

115-
User-agent: PetalBot
116-
Disallow: /
117-
118130
User-agent: BLEXBot
119131
Disallow: /
120132

0 commit comments

Comments
 (0)