可以进行网站优化的搜索引擎是特别繁琐的计算系统，很多的大的公司，即使有科技人员，有很多的钱搞研究，还是很难面对它。在它出现的这几十年里，已经发展的很迅速。现在我们的网站优化、搜索引擎和十年前的，差距实在是太大了。搜索引擎正在不断地发展、变革，给用户越来越多的内容。

搜索引擎主要面对下面几点挑战：

抓取的内容需要快而准。网络上的内容不断的增加、刷新。人们在网上发布内容、相互交流。想要浏览到优质的页面，就要有最新的内容被搜索引擎抓取。可上网上的内容太多了，而蜘蛛想要让所有内容全部更新数据库耗费的时间非常的长。

搜索引擎初期，这些抓取的时间需要很长，通常是几个月。因此谷歌在二零零三年之前需要好几月又一次大变化。目前的搜索引擎的更新只需要几天的时间，有些好的网站权重高，它们的内容被收录需要的时间更少，只有几小时或者几分钟。

网站优化主要面对下面几点挑战：

可是以前这种情况出现的只有权重高的网站，现在像熊掌号更新的速度也是很快的，通常2-3个小时就可以了。而很多的页面，被抓取的速度确实很慢的，可能好几个月。

网站优化想要让搜索引擎能够找到符合条件的页面，需要的是很全的抓取，这样子对技术上的要求就高了。而且很多的网站设置的不能够被蜘蛛爬行，就像是网站自己的结构上的错误，还有很多的Flash、Java描述语言脚本，不然就是限制浏览，像只有登陆后才能看到的内容，这些问题能够阻碍搜索引擎蜘蛛的爬行。

搜索引擎、网站优化的很大储存空间：有的很大的网站自己本身的页面就是十分多的，而网上的网站又是非常多的，统一到一起的数据库就会非常大。蜘蛛抓取了这些页面，需要有效的将这些页面存起来，而数据的的储存必须有一定的层次，能够很好的延伸，写入和访问需要非常快。