(1)不要忽略
淮南网站优化中网站的robots文件,个别情况下系统robots是禁止搜索引擎抓取的,所以当网站即将上线时注意查看robots文件的正确性,网站日常维护过程中也要注意定期检查。
User-agent: *
Disallow: /
禁止所有搜索引擎抓取网站
User-agent: Baiduspider
Allow: /
仅允许百度抓取网站
User-agent指示以下规则针对哪个搜索引擎,*代表所有搜索引擎;Disallow和Allow分别代表禁止和允许
(2)建立网站sitemap文件、死链文件,并及时通过百度站长平台进行提交
在robot文件中指明sitemap文件位置
(3)合理利用站长平台提供的robots、sitemap、索引量、抓取频次、死链提交、网站改版等工具。
符合搜索引擎抓取习惯的网站是在根本上提升了搜索引擎的喜欢程度,从而帮助网站实现快速收录。两者间的区别就好比,前者是你把糖送到搜索引擎嘴边,而后者却是让搜索引擎习惯性的问你要糖吃。