Robots虽然是网站的一个很基础的东西，但依然有很多朋友不知道这是做啥用或怎么写，今天就来讲讲什么是robots，以及外贸网站的robots写法
1. Robots到底是什么
robots是在网络爬虫（像GG蜘蛛）之间通行的一个协议，robots设置哪些蜘蛛可以爬取哪些页面，不可以爬取哪些页面，它没有法律效力，完全靠自觉。它放在robots.txt这个文档中。
2. 网站robots怎么写
网站禁止收录和禁止爬取
在建立起WP网站第一步，就要写好，因为你的网站还没完成，不适合收录
User-agent: *
Disallow: /
网站开放收录和爬取
一般来讲，网站的robots写法没有标准的答案，因为它是一个开放的内容，目的就是为了告诉可以做什么，不可以做什么，所以这个完全由你来决定。
专业的SEO插件YOAST SEO最近的文章显示，不用限制什么，相当于裸奔。
特别是AVADA主题做的网站，如果有一点限制在google站长工具后台就会提示报错，所以都开放网站收录，放开的robots如下。
User-agent: * Allow: /
3. robots文件放哪里
robots.txt这个文件写好内容后，直接上传到网站根目录即可，即跟wp-admin，wp-content，wp-includes同一路径可。
比例简单快捷的方法就是使用yoast seo插件的编辑功能，可以在线编辑robots，非常方便，具体使用方法可以参考yoast seo插件使用
4. Robots禁止收录了，那别人就看不到我的网站么？
错，robots是网络协议，对网络爬虫起作用，对人不起作用。
要想别人看不到你的网站–安装under construction插件，启用即可屏蔽你的网站
要想网站不收录 — 写好robots，并将robots.txt放到你的网站根目录下面即可