给自己的站做体检,最怕的不是发现问题,是发现"一切正常"。 这次我把 12 小时的访问日志(209,829 行)翻了一遍,四个问题的数字如下。
| 路径 | 次数 |
|---|---|
/data/bodies.js | 38,323 |
/public/data/bodies.js | 9,227 |
/data/payload.json | 821 |
页面里两处引用,文件从来没上传过。每打开一次页面 1 次 404,每 2 分钟轮询再 1 次。 补两个最小桩后(81 字节 / 115 字节)上线即 200。
日志里有 host 字段,这是决定性证据:
GPTBot: GET /sites/xxx/sitemap.xml host = mengstone-sites.oss-cn-beijing.aliyuncs.com
AI 爬虫抓的是对象存储的原始域名,不是 CDN 域名。24 小时内 GPTBot 13,809 次、 ClaudeBot 10,060 次,绝大多数落在这个影子站上。
其中 268 个是单位换算页,正文 9–15 个字。这种占比在搜索引擎眼里接近内容农场。
处理方式不是删页面,而是收缩:
noindex,follow归因报表一开始显示"2,399 次人类访问"。按独立 IP 一查:
| 页面 | 报表 PV | 实际独立 IP | 最集中的 IP |
|---|---|---|---|
/skills/ | 1,723 | 8 | 907 次(单 IP) |
/audit/ | 425 | 6 | 303 次(单 IP) |
/order/ | 91 | 7 | 72 次(单 IP) |
两个 IP 贡献 1,811 次命中。真实独立真人 IP:每天 1–4 个。
noindexcanonical 是否指向自己