提高其抓取速度。 深度优先是指网络蜘蛛会从起始页开始， 一个链接一个链接跟踪下去， 继续跟踪链接。 这个方法有个优点是网络蜘蛛在设计的时分比拟容易。 由于不可能抓取一切的网页， 有些网络蜘蛛对一些不太重要的网站， 设置了访问的层数。 例如， 在上图中， A为起始网页， G、H属于第2层， 如果网络蜘蛛设置的访问层数为2的话， 网页I是不会被访问到的。 这也让有些网站上一局部网页可以在搜索引擎上搜索到， 另外一局部不能被搜索到。 常常会遇到加密数据和网页权限的问题， 有些网页是需要会员权限才能访问。 网站的一切者可以通过协议让网络蜘蛛不去抓取?ㄏ滦〗诨嵋?他们希望搜索引擎能搜索到他们的报告， 网络蜘蛛可以通过所给的权限对这些网页停止网页抓取?佣峁┧阉鳌?而当搜索者点击检查该网页的时分， 同样需要搜索者提供相应的权限验证。 网站与网络蜘蛛 网络蜘蛛需要抓取网页， 不同于一般的访问， 其实不然， 一方面让网站管理员了解网络蜘蛛都来自哪儿， 做了些什么， 另一方面也通知网络蜘蛛哪些网页不应该抓取?男┩秤Ω酶隆? 每个网络蜘蛛都有自己的名字， 在抓取网页的时分， 都会向网站标明自己的身份。 网络蜘蛛在抓取网页的时分会发送一个央求， 用于标识此网络蜘蛛的身份。 Yahoo网络蜘蛛的标识为Inktomi Slurp。 网站管理员就能晓得， 哪些搜索引擎的网络蜘蛛过来过， 什么时分过来的， 以及读了多多数据等等。 可以让蜘蛛更加容易找到你的网站。 如果网站管理员发现某个蜘蛛有问题， 就通过其标识来和其一切者联络。 网络蜘蛛进入一个网站， 一般会访问一个特殊的文本文件Robots. txt， 这个文件一般放在网站效劳器的根目录下。 txt来定义哪些目录网络蜘蛛不能访问， 或者哪些目录对于某些特定的网络蜘蛛不能访问。 例如有些网站的可执行文件目录和暂时文件目录不希望被搜索引擎搜索到， 那么网站管理员就可以把这些目录定义为拒绝访问目录。 Robots. txt语法很简单， 例如如果对目录没有任何限制， Robots. txt只是一个协议， 如果网络蜘蛛的设计者不遵照这个协议， 网站管理员也无法阻止网络蜘蛛对于某些页面的访问， 而且网站管理员还可以通过其它方式来拒绝网络蜘蛛对某些网页的抓取。 会有META标识。 通过这些标识， 可以通知网络蜘蛛本网页是否需要被抓取?txt的语法和META Tag语法 如今一般的网站都希望搜索引擎能更片面的抓取自己网站的网页， 因为这样可以让更多的访问者能通过搜索引擎找到此网站。 网站管理员可以树立一个网站地图， htm文件作为一个网站网页爬取的入口， 网站管理员可以把网站外部一切网页的链接放在这个文件里面， 也会减小对网站效劳器的担负?? 内容提取 搜索引擎树立网页索引， 处置的对象是文本文件。 对于网络蜘蛛来说， 包括html、图片、doc、pdf、多媒体、静态网页及其它格式等。 这些文件抓取下来后， 需要把这些文件中的文本信息提取出来。 精确提取这些文档的信息， 一方面对搜索引擎的搜索精确性有重要作用， 另一方面对于网络蜘蛛正确跟踪其它链接有一定影响。