什么是 X-Robots-Tag?
X-Robots-Tag 是 HTTP 响应头中的一个可选组成部分,用于告知搜索引擎如何抓取和索引网页及非HTML文件。
X-Robots-Tag的定义与作用
X-Robots-Tag 可用于HTML和非HTML文件(如PDF、图片等),通过HTTP响应头设置抓取和索引指令。
常见指令包括:noindex、nofollow、none、noarchive、nosnippet等。
HTTP/1.1 200 OK X-Robots-Tag: noindex, nofollow
可为不同抓取工具设置不同指令,例如:X-Robots-Tag: googlebot: noarchive, nofollow
X-Robots-Tag的重要性
X-Robots-Tag 支持正则表达式、可批量控制非HTML文件抓取,是比meta robots更灵活的SEO工具。
- 适用于非HTML文件(如PDF、图片)
- 可批量应用于整个目录或子域
- 支持为不同抓取工具分配不同指令
常用指令与设置方法
- noindex:不在搜索结果中展示该页面或文件
- nofollow:不跟踪页面中的链接
- none:等同于noindex, nofollow
- noarchive:不显示缓存页面
- nosnippet:不显示摘要或预览
在Apache、NGINX等服务器配置文件中设置X-Robots-Tag,实现批量控制。
常见问题解答
X-Robots-Tag和meta robots有何区别?
meta robots仅适用于HTML页面,X-Robots-Tag可用于所有文件类型,且更灵活。
如何查看X-Robots-Tag?
可通过浏览器开发者工具或SEO工具栏查看HTTP响应头中的X-Robots-Tag。