沈阳SEO网 沈阳SEO网建站 · 优化 · AI 搜索
Tool 03

robots.txt 生成器

一行写错就可能让整站消失。生成后请务必用搜索引擎的 robots 测试工具跑一遍,再上传。

生成结果


      

robots.txt 的三条铁律

  1. Disallow 不等于 noindex:被禁止抓取的页面仍然可能被索引(因为外链存在),只是搜索引擎看不到内容。要彻底不收录,用 noindex。
  2. 不要封 CSS 和 JS:封了之后搜索引擎无法正确渲染页面,会误判布局与内容。
  3. 测试环境规则不要带上线:这是最高频的事故,上线前一定打开 /robots.txt 看一眼。

常见写法对照

目的写法说明
全站禁止Disallow: /只用于测试环境,上线必须删
只允许首页Disallow: / + Allow: /$$ 表示结尾匹配
封某个目录Disallow: /inc/注意末尾斜杠,否则会误伤同前缀路径
封参数页Disallow: /*?s=通配符需搜索引擎支持(主流都支持)
单独放开某文件Allow: /inc/logo.pngAllow 优先级高于 Disallow

想先知道自己的网站差在哪?

提交域名,48 小时内给出一份人工诊断:收录、结构、速度、TDK、内链、转化路径,逐项标注问题与改法。