外贸网站的robots怎么写

Robots虽然是网站的一个很基础的东西，但依然有很多朋友不知道这是做啥用或怎么写，今天就来讲讲什么是robots，以及外贸网站的robots写法

1. Robots到底是什么

robots是在网络爬虫（像GG蜘蛛）之间通行的一个协议，robots设置哪些蜘蛛可以爬取哪些页面，不可以爬取哪些页面，它没有法律效力，完全靠自觉。它放在robots.txt这个文档中。

2. 网站robots怎么写

网站禁止收录和禁止爬取

在建立起WP网站第一步，就要写好，因为你的网站还没完成，不适合收录

User-agent: *
Disallow: /

网站开放收录和爬取

一般来讲，网站的robots写法没有标准的答案，因为它是一个开放的内容，目的就是为了告诉可以做什么，不可以做什么，所以这个完全由你来决定。

专业的SEO插件YOAST SEO最近的文章显示，不用限制什么，相当于裸奔。

特别是AVADA主题做的网站，如果有一点限制在google站长工具后台就会提示报错，所以都开放网站收录，放开的robots如下。

User-agent: *
Allow: /

3. robots文件放哪里

robots.txt这个文件写好内容后，直接上传到网站根目录即可，即跟wp-admin，wp-content，wp-includes同一路径可。

比例简单快捷的方法就是使用yoast seo插件的编辑功能，可以在线编辑robots，非常方便，具体使用方法可以参考yoast seo插件使用

4. Robots禁止收录了，那别人就看不到我的网站么？

错，robots是网络协议，对网络爬虫起作用，对人不起作用。

要想别人看不到你的网站–安装under construction插件，启用即可屏蔽你的网站

要想网站不收录 — 写好robots，并将robots.txt放到你的网站根目录下面即可