什么是 X-Robots-Tag？
X-Robots-Tag 是 HTTP 响应头中的一个可选组成部分，用于告知搜索引擎如何抓取和索引网页及非HTML文件。
X-Robots-Tag的定义与作用
X-Robots-Tag 可用于HTML和非HTML文件（如PDF、图片等），通过HTTP响应头设置抓取和索引指令。
常见指令包括：noindex、nofollow、none、noarchive、nosnippet等。
HTTP/1.1 200 OK X-Robots-Tag: noindex, nofollow
可为不同抓取工具设置不同指令，例如：X-Robots-Tag: googlebot: noarchive, nofollow
X-Robots-Tag的重要性
X-Robots-Tag 支持正则表达式、可批量控制非HTML文件抓取，是比meta robots更灵活的SEO工具。
- 适用于非HTML文件（如PDF、图片）
- 可批量应用于整个目录或子域
- 支持为不同抓取工具分配不同指令
常用指令与设置方法
- noindex：不在搜索结果中展示该页面或文件
- nofollow：不跟踪页面中的链接
- none：等同于noindex, nofollow
- noarchive：不显示缓存页面
- nosnippet：不显示摘要或预览
在Apache、NGINX等服务器配置文件中设置X-Robots-Tag，实现批量控制。
常见问题解答
X-Robots-Tag和meta robots有何区别？
meta robots仅适用于HTML页面，X-Robots-Tag可用于所有文件类型，且更灵活。
如何查看X-Robots-Tag？
可通过浏览器开发者工具或SEO工具栏查看HTTP响应头中的X-Robots-Tag。