【GEO百科】学生问：robots.txt怎么写才能放行对的人、拦住乱爬的

之前聊过robots.txt是干什么的，王老板接着问：知道有这个文件了，可具体怎么写？听说有的AI爬虫不听话，有没有办法拦？

先回顾它的角色

robots.txt是放在网站根目录的一份声明，告诉来访的爬虫：哪些目录欢迎抓取，哪些请止步。它是“君子协定”——正规的大平台爬虫会遵守，但确实存在无视声明的爬虫，所以它管得住讲规矩的，管不住不讲规矩的，这是先要有的预期。

写法上的分寸感

基本语法不难：用一串声明指定“哪种爬虫”和“允许或禁止的路径”。写的时候把握三个分寸：一是不误伤——很多站长想拦某个讨厌的爬虫，结果通配符写宽了，把搜索爬虫也拦了，搜索收录跟着掉，改之前先想清楚影响面；二是别一刀切拦AI——AI爬虫带来的引用是GEO的源头活水，全拦了等于谢客，更稳的做法是逐个决定：主流的、行为规范的放行，确实骚扰频繁、不守规矩的再针对拦截；三是后台和隐私目录要守住——管理后台、用户隐私页面这些本来就不该被任何爬虫碰的区域，声明里明确禁止，这是robots的基本职责。

拦不住的怎么办

对不守声明的爬虫，robots.txt确实没辙，可以再加一层技术手段：服务端按爬虫标识做访问控制，异常高频的访问来源限流或封禁；正规平台一般也提供申诉和标记渠道。动作别过猛，误杀真实用户就得不偿失。拿不准的时候，记录一段时间访问日志再决定，比拍脑袋拦截稳妥。

改动前后的两个动作

改robots.txt之前把原文件备份一份，改完立刻用平台的robots检测工具验证，确认想放行的没被误拦、想拦的真被拦住。这份文件小，影响面大，属于典型的“改前备份、改后验证”对象，别凭感觉直接上线。

一句话总结

robots.txt拦得住讲规矩的，拦不住野蛮的，写的时候放行主流搜索和AI爬虫、守住后台隐私区、通配符别写宽。不听话的靠服务端限流，先观察再动手。

【沃艾GEO】woaigeo.com，卫老师，12321全域GEO——让客户问AI时，第一个想到你。