什么是 X-Robots-Tag?

X-Robots-Tag 是 HTTP 响应头中的一个可选组成部分,用于告知搜索引擎如何抓取和索引网页及非HTML文件。

X-Robots-Tag的定义与作用

X-Robots-Tag 可用于HTML和非HTML文件(如PDF、图片等),通过HTTP响应头设置抓取和索引指令。

常见指令包括:noindex、nofollow、none、noarchive、nosnippet等。

HTTP/1.1 200 OK X-Robots-Tag: noindex, nofollow

可为不同抓取工具设置不同指令,例如:
X-Robots-Tag: googlebot: noarchive, nofollow

X-Robots-Tag的重要性

X-Robots-Tag 支持正则表达式、可批量控制非HTML文件抓取,是比meta robots更灵活的SEO工具。

  • 适用于非HTML文件(如PDF、图片)
  • 可批量应用于整个目录或子域
  • 支持为不同抓取工具分配不同指令

常用指令与设置方法

  • noindex:不在搜索结果中展示该页面或文件
  • nofollow:不跟踪页面中的链接
  • none:等同于noindex, nofollow
  • noarchive:不显示缓存页面
  • nosnippet:不显示摘要或预览

在Apache、NGINX等服务器配置文件中设置X-Robots-Tag,实现批量控制。

常见问题解答

X-Robots-Tag和meta robots有何区别?

meta robots仅适用于HTML页面,X-Robots-Tag可用于所有文件类型,且更灵活。

如何查看X-Robots-Tag?

可通过浏览器开发者工具或SEO工具栏查看HTTP响应头中的X-Robots-Tag。