# 全局配置 User-agent: * Allow: / Disallow: /adminer/ Disallow: /*?* # 屏蔽带参数的重复页面 Crawl-delay: 1 # 控制抓取频率 # 字节跳动爬虫专属配置 User-agent: Doubaobot Allow: / Disallow: /adminer/ User-agent: Bytespider Allow: / Disallow: /adminer/ User-agent: TikTokSpider Allow: / Disallow: /adminer/