收录问题排查:不被收录的 9 个原因
按"能不能抓、要不要收、值不值得收"三层排查,附每一步的具体检查命令与方法。
"文章发了不收录"是最常见的抱怨,但原因分布很集中。按下面三层顺序查,90% 的问题能在半小时内定位。
第一层:能不能抓到
1. robots.txt 误封
访问 /robots.txt,看有没有 Disallow: / 或把你需要的目录封了。测试环境用的规则上线后忘了删,是最高频的事故。
2. noindex 误加
查看页面源码有没有 <meta name="robots" content="noindex">,或响应头有没有 X-Robots-Tag: noindex。模板复制时带过来的情况很常见。
3. 服务器返回异常
curl -I https://www.example.com/page/
必须是 200。返回 301 到别处、403、503、或者不稳定地 200/502 交替,都会导致不收录。
4. 没有任何站内入口
只存在于 sitemap 里、没有任何页面链接过去的"孤儿页",抓取优先级极低。给它加 2 个站内链接,通常一周内有变化。
第二层:要不要收
5. 内容重复
与站内其他页面高度相似,搜索引擎会选一个代表,其余的进"已抓取未索引"。检查方式:把标题的前 15 个字加引号搜一下,看站内有多少相似页面。
6. 内容太薄
只有一段话、一张图、或者全是参数没有说明的页面,容易被判定为低价值。不是要凑字数,是要补充"用户还想知道什么"。
7. 站点整体质量
如果站内 80% 的页面都是搬运或空白,新页面也很难被收录。这时候单篇优化没用,要清理低质页面。
第三层:值不值得收
8. 索引预算被浪费
大量无意义 URL(筛选参数、搜索结果页、日历页、标签页)占用了抓取配额。处理方式:
- 参数页加 canonical 指向主页面。
- 搜索结果页、标签聚合页加 noindex。
- 用 robots.txt 屏蔽无意义的参数组合。
9. 站点结构过深
首页到目标页超过 4 次点击,抓取概率大幅下降。扁平化:栏目页直接列出所有内容,或用"全部文章"聚合页。
提交后的正常时间线
- sitemap 提交:几小时到 3 天被读取。
- 抓取:1–7 天(权重高的站更快)。
- 索引:抓取后 1–14 天。
- 排名:索引后 1–4 周开始波动,1–3 个月趋于稳定。
超过这个区间还没动静,回到第一层重新查。不要靠"再多等几天"来解决问题。
一个实用技巧
把新页面链接放在首页或高权重栏目的显眼位置,持续一周。这是最原始也最有效的"加速收录"手段——比任何提交接口都可靠。