robots 是网站自建的一个放在网站根目录的文件，搜索引擎来到网站第一个就是看这个文件，它设置了我们自定义哪些目录和文件是可以被收录的，哪些是不可以收录的。一个网站它的内容不可能 100%都跟网站主题有关，我们在拓展内容的时候，需要放一些与主题不太相关的文章或者内容，而这些内容可能会降低我们网站的权重，而且这些内容我们也是不希望搜索引擎收录的。另外我们网站的程序文件和客户资料文件，也是不希望搜索引擎收录，这个时候就可以使用 robots 功能，我们建一个 robots.txt 文件，语法如下：
User-agent: 蜘蛛名称
Disallow: 禁止抓取的内容
Allow: 允许抓取的内容
通配符* 终止符$
例子：
User-agent: * Disallow: /*?* Disallow: /.js$ Disallow: /.php$
这段代码的意思是告诉所有来访的搜索引擎（如果要指定哪个搜索引擎，可以在 user-agent 后面加上相应蜘蛛的名称），不要收录动态页面，js 文件，php 文件。
什么是网站地图？当我们的网站内容非常多了之后，蜘蛛爬过来很容易迷路，这个时候就需要给它一张地图，让它能顺利地爬完整个网站，网站地图是一个.xml 文件，一般的开源程序如 wordpress、织梦、DZ 都有生成网站地图的功能，非开源程序可以联系建站公司制作网站地图。
制作完成后，需要把.xml 上传到你空间，并在 robots 文件里加上链接地址如下
Sitemap: http://www.ckseo.cn/sitemap_baidu.xml
刘浪 BLOG , 版权所有丨如未注明 , 均为原创
