推吧推吧教你——怎么使用robots.txt优化
在网站后加/robots.txt 可以查看网站的robots.txt。
1、新建robots.txt，新建文本重命名为robots.txt。
2、编辑内容。
3、上传到根目录。
注意：robots.txt的文件名必须都是小写。
robots.txt的文件必须放在网站根目录。
robots.txt语法的详解
1、User-agent，作用：指定搜索引擎的名称。
(1) User-agent: Baiduspider
(2) User-agent: Googlespider（搜索引擎）
提示：冒号后面要加空格
2、User-agent: *，作用：通配符，指所有的。
3、Disallow，作用：禁止收录
(1) Disallow: / 表示禁止收录所有。
(2) Disallow: /user/login.html 表示禁止摸一个页面
(3) Disallow: temp/ 表示禁止收录某个目录
想要禁止收录动态的URL：Disallow：*？（“？”表示动态）
4、“*”。Disallow: /user/*.html 作用：禁止收录USER目录下的所有html页面
Disallow: /user/ps* 作用：禁止收录USER目录下的所有ps开头的文件。
网站后台不想被收录，例如后台为admin：Disallow：/user/adm*
5、allow，作用：允许收录
(1) Allow: / 允许收录所有
(2) Allow: .jpg$ 允许收录所有jpg。
$表示某一些型文件后缀。
注意：默认是允许收录全部
例1：允许收录html后缀 ：Allow: .html$
如何检测robots.txt，是否有作用,可以在站长工具中途提交网址来确认没有没生效。
推吧推吧网络营销平台：https://www.tui8tui8.com
文章来源：http://www.tui8tui8.com/marke/details/135.html
推吧推吧手机端：https:// wap.tui8tui8.com
