技术 SEO 审计教程:用免费工具检查收录与页面问题
技术 SEO 审计教程:用 Google Search Console、PageSpeed Insights 和开源爬虫工具,检查网站收录、索引、性能与抓取问题,并给出修复优先级。
这篇教程做什么
技术 SEO 审计是定期给网站做"体检":检查收录情况、索引状态、页面速度、抓取异常,找出影响搜索引擎正常工作的技术问题。本教程用免费工具带你走一遍完整排查流程。想先理解收录的链路,看 搜索引擎收录是什么。
审计清单概览
| 检查项 | 工具 | 常见问题 |
|---|---|---|
| 收录数量 | 资源平台"索引量" | 收录量远低于发布量 |
| 单页索引状态 | 网址检查工具 | 已提交但未编入索引 |
| 页面性能 | PageSpeed Insights | LCP 过长、资源阻塞渲染 |
| 抓取异常 | 爬虫日志 / 开源 crawler | 404、5xx、被 robots 屏蔽 |
| 死链与孤立页 | crawler 报告 | 失效内链、无链接指向的页面 |
第一步:检查收录情况
在百度搜索资源平台看"索引量",在 Google Search Console 看"页面"报告。GSC 属于海外服务,访问需要网络条件,详见文末合规提醒。重点关注两类问题:
- 收录量远低于发布量:页面可能没被发现,或者被抓取后判定为低质量。
- 收录了但流量极低:检查是否被判定为重复内容、是否缺少有效的搜索意图匹配。
第二步:排查单页索引状态
对重点页面用"网址检查"类工具。如果显示"已抓取,当前未编入索引",通常是内容质量或抓取异常;如果显示"检测到抓取错误",优先排查渲染问题,对应方案见 网页抓取与渲染优化教程。
把"已抓取但未索引"和"重复内容"两类页面单独拉个清单,按页面对比内容和结构。很多情况下,这些页面只是内容太薄、与其他页面雷同,或者没有内链支撑。补齐内容、强化内链后再请求索引,效果通常比反复提交好。
第三步:性能检查
用 PageSpeed Insights 跑首页和内页,重点看两个指标:
- LCP(最大内容绘制):主体内容加载的速度,目标在 2.5 秒以内。
- 阻塞渲染的资源:JS、CSS 是否让首屏长时间空白。
性能不直接影响排名,但加载慢会明显影响用户停留,也会拖慢爬虫的抓取效率。PageSpeed Insights 是海外服务,使用时要留意网络条件(见文末合规提醒)。如果性能分数偏低,优先处理体积最大的脚本和图片,不要一上来就动全站架构。
第四步:用开源爬虫抓取全站
用开源爬虫工具对全站做一次镜像抓取,检查:
- 404 / 5xx 响应:删除的页面要 301 到新地址,或返回 410。
- 孤立页面:没有任何内链指向的页面,爬虫发现难度大。
- robots.txt 屏蔽:确认没有误屏蔽正常路径,配合 robots.txt 配置教程 检查。
爬虫工具可以同时输出每页的 HTTP 状态、标题长度、meta 描述、内链数量等字段,导出成表格后按状态筛选,能很快找出异常页面的集合。建议把这份报告存档,下一次审计时对比变化。
第五步:形成修复清单
按优先级整理修复任务:
- P0:整站无法抓取、被屏蔽、大规模 5xx,立即修复。
- P1:批量 404、重复内容、关键页不收录,本周内修复。
- P2:性能优化、meta 完善,纳入日常迭代。
修复不是一次性的。把审计沉淀成一份待办清单,每次修完一批就勾掉一批,并记录修复前后的收录数据变化,方便判断哪些改动真正有效。
常见状态码与处理
抓取报告里常见这几种状态:
- 404:页面已删除。把旧地址 301 到新页面,或返回 410 明确告知"已移除"。
- 5xx:服务器错误。检查服务是否过载、是否有代码报错,这类问题要立即处理。
- 302 / 重定向:少量跳转正常,但要检查是否出现重定向链,多个跳转会浪费抓取资源。
- 200 但内容为空:多为渲染问题,参考 网页抓取与渲染优化教程 处理。
把这些状态码出现的页面汇总成表,按数量排序,优先处理批量出现的问题。单页问题逐条解决,批量问题往往说明是配置或模板层面的通病。
审计频率
新站建议每两周一次,稳定后每月一次。每次大版本发布、页面改版、域名迁移后,务必立即做一次完整审计,避免问题长期潜伏。如果某次改版后收录量突然下降,优先回看这次审计的时间点,通常能定位到改动原因。
合规提醒
Google Search Console、PageSpeed Insights 等工具属于海外服务,其访问和使用可能受所在地网络条件与法律约束,请遵守所在地法律法规和服务条款。国内可优先使用百度搜索资源平台和国产性能检测工具。
不保证收录
再次强调:技术审计和修复能消除收录障碍,但不保证页面被收录或获得排名。收录与排名最终取决于搜索引擎算法对内容质量的综合判断。想了解 SEO 的全貌,看 SEO 是什么。
下一步
- 想看收录链路的概念背景?看 搜索引擎收录是什么
- 想接入结构化数据?看 结构化数据接入教程
- 想用大模型辅助诊断?看 AI 辅助 SEO 教程
保障 API 调用稳定性
调用 OpenAI、Anthropic 等海外 API 时,网络波动可能导致请求超时或失败。稳定的网络环境有助于提升开发效率。
⚠️ 请遵守所在地的法律法规和服务条款。使用 AI API 时请遵守各平台的使用政策。
了解安全上网方案 →常见问题
相关推荐
搜索引擎收录是什么?网站是怎么被百度、Google 收录的
搜索引擎收录是什么?从爬虫抓取、建立索引到参与排名,讲清网站被百度、Google 收录的完整链路、常见受阻原因,以及新站收录要多久。
结构化数据接入教程:为网站添加 Article 和 FAQ Schema
结构化数据接入教程:教你用 JSON-LD 为 Next.js 或静态站添加 Article、FAQPage 结构化数据,含代码示例与富媒体结果校验方法。
AI 辅助 SEO 教程:用大模型做关键词诊断与内容优化
AI 辅助 SEO 教程:教你用文心一言、智谱清言等国产大模型做关键词聚类、标题与描述生成、内容对比,附可直接复制的提示词模板。
获取更多 AI 内容
订阅更新,第一时间获取新教程和工具推荐。