seo: robots爬虫声明补全国内外全量(AI引擎+传统搜索)

2026-09-17 17:22:30 +08:00
parent 1f0b8e7740
commit 1fc358d47c
1 changed files with 12 additions and 6 deletions
@@ -32,12 +32,18 @@ router.get('/robots.txt', (req, res) => {
      'Allow: /',
      'Disallow: /api/',
      '',
-      'User-agent: GPTBot',
-      'Allow: /',
-      'User-agent: ClaudeBot',
-      'Allow: /',
-      'User-agent: PerplexityBot',
-      'Allow: /',
+      '# AI 引擎与搜索爬虫（SEO/GEO）：全量欢迎抓取',
+      ...[
+        // 国际 AI 引擎
+        'GPTBot', 'OAI-SearchBot', 'ChatGPT-User',
+        'ClaudeBot', 'Claude-User', 'anthropic-ai',
+        'PerplexityBot', 'Perplexity-User',
+        'Googlebot', 'Google-Extended',
+        'Bingbot', 'Applebot', 'Applebot-Extended',
+        'DuckAssistBot', 'Amazonbot', 'meta-externalagent', 'YouBot',
+        // 国内 AI 引擎与传统搜索
+        'Bytespider', 'Baiduspider', '360Spider', 'Sogou web spider', 'YisouSpider',
+      ].flatMap((ua) => ['User-agent: ' + ua, 'Allow: /', 'Disallow: /api/', '']),
      '',
      `Sitemap: ${o}/sitemap.xml`,
      '',