一次真实的站点诊断:4.7 万次 404、影子域名与 549 页里的 356 个薄页

2026-11-21 · MengStone · 全部数字来自阿里云 OSS 访问日志与线上页面实测

给自己的站做体检,最怕的不是发现问题,是发现"一切正常"。 这次我把 12 小时的访问日志(209,829 行)翻了一遍,四个问题的数字如下。

问题一:29% 的请求是 404,最大头是一个文件

路径次数
/data/bodies.js38,323
/public/data/bodies.js9,227
/data/payload.json821

页面里两处引用,文件从来没上传过。每打开一次页面 1 次 404,每 2 分钟轮询再 1 次。 补两个最小桩后(81 字节 / 115 字节)上线即 200。

为什么重要:爬虫会把大量 404 当成"这站坏了",降低抓取频次。 我们所有巡检都显示"正常",因为没人看 404 比例。

问题二:抓取预算被"影子域名"吃掉

日志里有 host 字段,这是决定性证据:

GPTBot: GET /sites/xxx/sitemap.xml
host = mengstone-sites.oss-cn-beijing.aliyuncs.com

AI 爬虫抓的是对象存储的原始域名,不是 CDN 域名。24 小时内 GPTBot 13,809 次、 ClaudeBot 10,060 次,绝大多数落在这个影子站上。

问题三:549 个页面里,356 个是薄页

其中 268 个是单位换算页,正文 9–15 个字。这种占比在搜索引擎眼里接近内容农场。

处理方式不是删页面,而是收缩:

问题四:流量统计在骗自己

归因报表一开始显示"2,399 次人类访问"。按独立 IP 一查:

页面报表 PV实际独立 IP最集中的 IP
/skills/1,7238907 次(单 IP)
/audit/4256303 次(单 IP)
/order/91772 次(单 IP)

两个 IP 贡献 1,811 次命中。真实独立真人 IP:每天 1–4 个。

四条可以立刻自查的判据

  1. 首页 / 关键页有没有被模板带进 noindex
  2. canonical 是否指向自己
  3. 日志里 404 占比是否 >10%(我们修之前是 29%)
  4. 统计流量时看独立 IP,不看 PV
想先自己跑一遍?
本地脚本,查三项致命问题,不联网上传:quickcheck.py
完整 12 项体检(含修法):网站体检 · 案例与自测分数:案例页