上周四我干了一件很无聊但很有用的事:把自家几个站的 robots.txt 和首页源码,一个一个拉下来看。
不看设计,不看打开速度,只看一件事——AI 爬到门口会不会被拦住,进来以后有没有能整段搬走的东西。
三个结果,我原样贴出来:
- 品牌站 lfmedia.cn 的 robots.txt 里,Bingbot、Bytespider、GPTBot、ClaudeBot、PerplexityBot 是逐条列着放行的,
Allow: /; - 同一个业务的主站 ynloan.com,首页结构化数据只有 Organization 和 PostalAddress 两项,没有问答块;
- 我自己这个博客 muci.a1box.cn,
/llms.txt返回 404——天天写"给 AI 看的内容",自家门牌没挂。
第三个最扎心。所以这篇不是教你,是我一边补作业一边记下来的。
一、AI 抄的不是品牌故事,是问答块
先说个判断:生成式引擎回答问题时,干的是"检索—摘录—拼接"三件事。它没有耐心读你的起承转合,它要找的是能独立成立的句子。
按这个标准再看上面两个站,差别就出来了。
lfmedia.cn 的首页里塞了 20 组 Question / Answer 结构化数据,每一组都是「问题一句、答案一段」。这种块对机器极其友好:问题拿来匹配用户提问,答案拿来直接引用,中间不需要它做任何推理。
ynloan.com 的首页只有 Organization 和 PostalAddress。这两项告诉 AI「有这么一家公司、地址在这儿」,但没告诉它「这家公司能解决什么问题」。信息是齐的,可惜不是可引用的形状。
我没有办法证明某一段一定被引用过——那需要对方后台的数据。但我能证明哪一段更好抄,而这个差别,在 AI 那边就是"被提到"和"被跳过"的差别。
一条可以自己动手的判据:把你页面里任意一段单独复制出来,发给一个完全不知道上下文的人。他能看懂、能相信,AI 就能用;他看不懂,AI 也不会用。
二、反过来更吓人:写错的字会被念一万遍
做内容的人都懂"一稿错字"的代价。放到 AI 搜索里,这个代价要翻倍——因为它复述的时候,语气比你还笃定。
我们内部对外的表述口径是逐字定的:哪些身份能写、哪些词一个都不许出现、收费怎么描述才不违规。以前这些口径靠人盯,一篇文章一个人看,漏一句也就漏一篇。
现在不一样了。一个页面如果写错,被 AI 引用一次是错一次;被引用一千次,就是一千次,而且每一次都带着"据某某网站"的可信度。
所以我在团队里加了一条规矩:对外页面先过口径,再过排版。文案可以改十遍,口径一句不能自己发挥。这条看着像合规要求,其实是 GEO 的底层——AI 不判断你对不对,它只判断你写没写清楚。你写清楚了错的东西,它就替你把错的传播开。
三、五步改法,今天就能动手
第一步:门口放行。 别用一行 User-agent: * 糊弄,把主流 AI 爬虫明确写出来:
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Bytespider
Allow: /
同时把后台目录、/data/、站内搜索这些挡掉——放行内容,不是放行整个硬盘。
第二步:一页只回答一个问题。 首屏第一段就给结论,40 字以内,主语写全。反例是"公司秉承专业、诚信的理念……",正例是"昆明地区的贷款咨询服务收费,按放款结果计,费率区间在页面下方表格里"。前者抄走就散,后者抄走就成立。
第三步:加 FAQ 结构化数据。 一个页面两到五组就够,别堆:
{"@context":"https://schema.org","@type":"FAQPage","mainEntity":[
{"@type":"Question","name":"收款码牌要不要交押金?",
"acceptedAnswer":{"@type":"Answer","text":"不要。码牌免费提供,收费只发生在交易手续费上。"}}
]}
第四步:挂一份 llms.txt。 放在根目录,纯文本,讲清你是谁、哪些页面最重要:
# 站点名
> 一句话说明你是做什么的
## 核心页面
- [服务说明](https://example.com/service):适合谁、怎么收费
- [常见问题](https://example.com/faq):20 个高频问题
第五步:每页留出处。 署名、更新时间、联系方式、企业全称与信用代码。AI 引用时会挑"看起来有出处"的内容,人也是。
四、怎么知道做没做对
别信"包收录"的服务,自己验三件事就够了:
- 伪装爬虫看一眼:
curl -A "GPTBot" -o /dev/null -w "%{http_code}" https://你的站/—— 返回 200 才算放行,403 就是被墙了。 - 翻服务器日志:grep 一下
GPTBot、ClaudeBot这些 UA,有没有命中;只有 robots 里写了放行、日志里一次没有,说明根本没爬到。 - 去问 AI:拿品牌名、城市+服务、一个具体长尾问题,各问一遍。答案里出现了你的站、你的说法,就是成了;一次都没有,把上面五步回头再走一遍。
五、我的判断
GEO 这个词明年一定会被讲烂,也一定会冒出一批卖"AI 收录"的骗子。但底层那件事不会变:AI 只能引用它能读懂的句子。
所以这件事的本质不是讨好算法,是把话说清楚——把"我们很专业"改成"这件事我们怎么做、收多少钱、多久出结果"。这话对人有用,对机器也有用,只是机器不会替你脑补。
最后一句话送给自己,也送给正在改页面的你:你的网站里至少要有一句话,能被别人一字不改地抄走,抄走之后还成立。找不到这句话,就别怪 AI 介绍你的时候,只说了一堆形容词。
留言板
0 条留言