把一个从零开始的站做进 AI 答案——公开实验实录(Day 0)
2026-11-22 的起点实测:geoxz.cn 的 HTTPS 证书挂的是 geoxz.com 的 SAN(AI 爬虫全部进不来),robots.txt、sitemap.xml、llms.txt 三项全 404,AI 引擎里零收录。本文如实记录这四项起点状态、修法与验收命令,作为公开实验的基线快照;不承诺任何时间线内的收录或引用结果。
这是公开实验的第 0 天。本文不写方法论,只写 2026-11-22 这一天实测到的起点状态、每一项的修法、以及怎么验证修好了。
先把最重要的一句放在前面:这份记录的价值在于起点是真的零,且这个零被完整写下来了。 如果几个月后有变化,可以拿本文逐项对照。
起点快照(2026-11-22 实测)
| 项 | 起点状态 | 影响 |
|---|---|---|
| HTTPS 证书 | 443 端口挂的是 geoxz.com 的证书,SAN 只有 geoxz.com / www.geoxz.com,访问报 ERR_TLS_CERT_ALTNAME_INVALID | 最高优先:AI 爬虫全部进不来 |
| robots.txt | 404 | 等于默认全允许,但没有 Sitemap 入口 |
| sitemap.xml | 404 | 搜索引擎与 AI 缺一份全量 URL 清单 |
| llms.txt | 404 | 缺一份给大模型读的站点索引 |
| 站点形态 | nginx 直出手写静态 HTML,零 JS,title「墨水与梯度 · 杨坤的笔记本」 | 形态本身已是爬虫最优,缺的是写作流程与发布链 |
| 80 / 443 | 均有响应(http 可访问) | ACME http-01 验证可用 |
一句话总结这张表:站是能打开的,但对 AI 来说是隐形的。
一、证书错配:为什么它是唯一的 P0
证书问题排在所有事情前面,理由很直接:TLS 握手发生在 HTTP 之前。
一个爬虫来抓 https://geoxz.cn/posts/xxx/ 时,第一步是 TLS 握手并校验证书 SAN 是否包含 geoxz.cn。当前证书的 SAN 只有 geoxz.com 和 www.geoxz.com,握手直接失败。这时候:
- robots.txt 写得多友好,它读不到;
- 内容写得多好,它抓不到;
- sitemap.xml 提交多少次,它进不来。
所以这不是「影响排名」的问题,是「入口被焊死」的问题。
修法:DNS 已指向本机、80 端口可达,所以 ACME http-01 验证可用。用 certbot 或云厂商免费 DV 证书,SAN 必须同时包含 geoxz.cn 与 www.geoxz.cn,并上自动续期。
一个必须注意的坑:同一台机器上还有 geoxz.com 的站点在用现有证书,改 vhost 前先备份原文件、nginx -t 通过再 reload,不要动到 geoxz.com 的配置。
验收命令:
# 证书 SAN 里必须能看到 DNS:geoxz.cn
openssl s_client -connect geoxz.cn:443 -servername geoxz.cn </dev/null 2>/dev/null \
| openssl x509 -noout -ext subjectAltName
二、三件套:robots / sitemap / llms
三项都是 404。它们的分工不同,别混为一谈:
- robots.txt 是「许可与入口」:告诉爬虫哪些可以抓,并给出 Sitemap 地址。本站的做法是逐条列出要放行的 AI 爬虫 UA 并 Allow——GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot、Perplexity-User、ClaudeBot、Bytespider、Applebot-Extended、Google-Extended、Baiduspider、Sogou web spider、360Spider、Bingbot、Googlebot,末尾一行
Sitemap: https://geoxz.cn/sitemap.xml。 - sitemap.xml 是「地图」:全量 URL 清单,交给 Hugo 内建输出即可,不手写模板覆盖。
- llms.txt 是「给大模型读的站点索引」:Markdown 格式,一段站点说明 + 分类文章列表(标题、链接、一句话摘要)。发布链每发一篇就在末尾追加一条。
验收命令:
for p in robots.txt sitemap.xml llms.txt; do
printf '%s -> %s\n' "$p" "$(curl -o /dev/null -s -w '%{http_code}' https://geoxz.cn/$p)"
done
# 期望三行都是 200
三、站点形态:为什么反而不用改
起点里唯一「已经是好的」的一项是站点形态:nginx 直出手写静态 HTML、零 JS、标题与描述齐备。从抓取角度这已经是最优形态——没有前端框架、没有需要执行的 JS 才能看到正文。
所以这次的改造不是推翻它,而是把它升级成 Hugo 驱动的版本,好处在别处:
- 写作流程变成「写一个 markdown 文件」;
- 平台可以程序化写入内容(
content/posts/<slug>.md就是天然接口); - frontmatter 契约让每篇文章强制带 summary 与 FAQ,这是 AI 引用最爱的两个字段;
- 结构化数据(Article / FAQPage / BreadcrumbList)自动输出,不用手写。
四、本站的验收铁律
改造完成后,每篇文章发布都要过这一条:
curl -s https://geoxz.cn/posts/<任一文章>/ | grep -F '<正文里的一句原话>'
必须命中。这条测的不是「页面能打开」,而是「正文完整出现在首屏 HTML 里,不依赖任何 JS 渲染」。如果哪天某个模板改成了 JS 加载正文,这条会立刻失败。
五、Day 0 的结论(只有过程,没有效果)
今天能确认的事实只有这些:
- 起点是零收录,且原因之一(证书)是可以明确归因的技术阻塞;
- 三件套从 404 变成 200 是可验证的、与时间无关的动作;
- 内容质量、外链、搜索流量、时间这四件事,一样都还没开始积累。
所以本文不给任何预期。下一份记录会写清楚:改完之后抓取频率有没有变化、IndexNow 与主动推送的返回是什么、AI 引擎里的提及与引用有没有从零开始动。测到什么写什么,包括没动。
边界与不承诺
本站只承诺过程数据公开,不承诺任何时间线内的收录或引用结果。
常见问题
Day 0 的起点状态具体是什么?
四项:① geoxz.cn 的 443 端口实际挂着 geoxz.com 的证书,SAN 只有 geoxz.com/www.geoxz.com,访问报 ERR_TLS_CERT_ALTNAME_INVALID;② robots.txt 404;③ sitemap.xml 404;④ llms.txt 404。站点本身可访问(http 有响应),但在 AI 引擎中零收录。
证书错配为什么是最高优先级?
因为 AI 爬虫和浏览器一样走 TLS 校验。证书 SAN 不含 geoxz.cn 时,抓取方在握手阶段就会失败,后面有没有 robots.txt、内容写得多好都无从谈起——它不是「影响排名」,是「进不来」。
为什么先修这三件套而不是先写内容?
三件套是爬虫的入口与地图:robots.txt 决定允不允许抓、sitemap.xml 提供全量 URL 清单、llms.txt 给大模型一份可读的站点索引。它们不提升内容质量,但缺了会让好内容失去被发现的机会。修它们的成本是几十分钟,所以先做。