seo: robots爬虫声明补全国内外全量(AI引擎+传统搜索)

server/src/routes/seo.js

@@ -32,12 +32,18 @@ router.get('/robots.txt', (req, res) => {
       'Allow: /',
       'Disallow: /api/',
       '',
-      'User-agent: GPTBot',
+      '# AI 引擎与搜索爬虫（SEO/GEO）：全量欢迎抓取',
-      'Allow: /',
+      ...[
-      'User-agent: ClaudeBot',
+        // 国际 AI 引擎
-      'Allow: /',
+        'GPTBot', 'OAI-SearchBot', 'ChatGPT-User',
-      'User-agent: PerplexityBot',
+        'ClaudeBot', 'Claude-User', 'anthropic-ai',
-      'Allow: /',
+        'PerplexityBot', 'Perplexity-User',
+        'Googlebot', 'Google-Extended',
+        'Bingbot', 'Applebot', 'Applebot-Extended',
+        'DuckAssistBot', 'Amazonbot', 'meta-externalagent', 'YouBot',
+        // 国内 AI 引擎与传统搜索
+        'Bytespider', 'Baiduspider', '360Spider', 'Sogou web spider', 'YisouSpider',
+      ].flatMap((ua) => ['User-agent: ' + ua, 'Allow: /', 'Disallow: /api/', '']),
       '',
       `Sitemap: ${o}/sitemap.xml`,
       '',