淮南网站优化小编告诉大家互联网是一个动态的内容网络，每天有无数的页面在更新和创建，无数的用户在网站上发帖和交流。为了返回最有用的内容，搜索引擎需要抓取最新的页面。但是由于页面数量巨大，搜索引擎爬行器更新数据库中的页面需要很长时间。当搜索引擎刚诞生时，捕获、更新周期通常以月为单位计算。这就是为什么谷歌在2003年之前每个月都有一次大的更新。

　　主要的搜索引擎现在可以在几天内更新重要的页面，高评级网站上的新文件可以在几小时甚至几分钟内被索引。然而，这种快速的收集和更新只能局限于高权重的网站。

　　对许多页面来说，几个月不重新抓取或更新也是常见的。

　　为了返回最好的结果，搜索引擎也必须抓取尽可能多的页面，这就需要解决很多技术问题。有些网站不利于搜索引擎蜘蛛抓取和爬行，淮南网站优化小编举例如网站链接结构缺陷，大量使用Flash、JavaScript脚本，或者将内容放在用户必须登录才能访问的部分，都增加了搜索引擎抓取内容的难度。