查看“Nginx/robots.txt”的源代码

本页面介绍如何使用 Nginx 返回 robots.txt 的相关配置

==== 阻止所有爬虫 ====
<syntaxhighlight lang="text">
location = /robots.txt {
  add_header  Content-Type  text/plain;
  return 200 "User-agent: *\nDisallow: /\n";
}
</syntaxhighlight>