1、概要分析：分析出各搜索引擎的访问次数，总停留时间，总抓取量，占比数

2、目录抓取：分析出各搜索引擎抓取网站目录的情况，包括网站各目录的爬取量

3、页面抓取：可以分析出搜索引擎对那个页面抓取的最多、最频繁

4、关键字分析：可以分析出百度、谷歌等搜索引擎透过哪些关键字抓取网站和带来流量的

5、状态码分析：分为用户状态码和蜘蛛状态码，这里主要应该还是看404状态码，是不是有些页面已经删除，但还在网站中存在链接，蜘蛛是否过多的抓取这些链接

然后针对上述分析的方向，我们可以做相应的优化：

1)、编写新的robot.txt，把一些系统目录加上禁止爬取

2)、对网站URL进一步静态化，最好能把tag页和分页也弄成静态地址

3)、对没有收录的文章，以该文章的url向相关网页做链接

4)、优化文章标题和内容，增加关键字曝光率