生成结果
robots.txt 的三条铁律
- Disallow 不等于 noindex:被禁止抓取的页面仍然可能被索引(因为外链存在),只是搜索引擎看不到内容。要彻底不收录,用 noindex。
- 不要封 CSS 和 JS:封了之后搜索引擎无法正确渲染页面,会误判布局与内容。
- 测试环境规则不要带上线:这是最高频的事故,上线前一定打开
/robots.txt看一眼。
常见写法对照
| 目的 | 写法 | 说明 |
|---|---|---|
| 全站禁止 | Disallow: / | 只用于测试环境,上线必须删 |
| 只允许首页 | Disallow: / + Allow: /$ | $ 表示结尾匹配 |
| 封某个目录 | Disallow: /inc/ | 注意末尾斜杠,否则会误伤同前缀路径 |
| 封参数页 | Disallow: /*?s= | 通配符需搜索引擎支持(主流都支持) |
| 单独放开某文件 | Allow: /inc/logo.png | Allow 优先级高于 Disallow |
想先知道自己的网站差在哪?
提交域名,48 小时内给出一份人工诊断:收录、结构、速度、TDK、内链、转化路径,逐项标注问题与改法。