全国服务热线:4008-888-888

技术知识

H5自适应建站-SEO优化中的爬行、抓取、索引、收

--------

H5自适应建站

-------SEO优化中的爬取、抓取、数据库索引、收录,谢谢互联网大揭秘? 重要词: SEO优化中的爬取、抓取、数据库索引、收录 谢谢互联网大揭秘?   发布   访问量:1280 爬取是甚么? 爬取指的是检索模块蜘蛛从已知网页页面上分析出连接指向的URL,随后沿着连接发现新网页页面(也就是连接指向的URL)的全过程。自然,蜘蛛其实不是发现新URL马上就爬以往抓取新网页页面,而是把发现的URL储放到待抓详细地址库中,蜘蛛依照一定次序从详细地址库中提取要抓取的URL。 抓取是甚么? 抓取是检索模块蜘蛛从待抓详细地址库中提取要抓的URL,浏览这个URL,把载入的HTML编码存入数据信息库。蜘蛛的抓取就是像访问器一样开启这个网页页面,和客户访问器浏览一样,也会在服务器原始系统日志中留下纪录。 数据库索引是甚么? 数据库索引指的是将一个URL的信息内容开展梳理,存入数据信息库,也就是数据库索引库,客户检索时,检索模块从数据库索引库中提取URL信息内容并排列呈现出来。数据库索引的英文是index。数据库索引库是用于检索的,因此被数据库索引的URL是能够被客户检索到的,沒有被数据库索引的URL客户在检索結果中是看不到的。 要留意的是,所谓“一个URL的信息内容“,其实不限于蜘蛛从URL上抓取来的內容,也有来自其它来源于的信息内容,如外界连接、连接的锚文本等。有的情况下,数据库索引库中有关这个URL的的信息内容,压根沒有从这个URL抓取来的內容,但检索模块了解这个URL的存在,而且有一些其它信息内容。 抓取和数据库索引并不是一回事。 收录是甚么? 我本人觉得收录和数据库索引沒有差别。只但是收录是从检索客户角度看的,检索时能找到这个URL,就是这个URL被收录了。从检索模块角度看,URL被收录了,也就是这个URL的信息内容在数据库索引库中存在。英文并沒有收录这个词,和数据库索引用的是同一个词index。 noindex的功效是甚么? 网页页面头信息内容中放上meta noindex标识是告知检索模块不要数据库索引这个URL,也就是客户检索时找不到这个URL的信息内容,这个URL不会回到在检索結果目录中。 noindex并不是告知检索模块不要抓取这个URL,具体上,noindex要起功效,这个URL是务必先被抓取的,要不然检索模块如何看到网页页面HTML编码中有noindex标识呢? robots文档的功效是甚么? robots文档是告知检索模块,某些URL不要抓取。留意,这里说的是不要抓取,没说不要数据库索引。和noindex是正相反的。 nofollow的功效是甚么? 给连接加上nofollow特性是告知检索模块,不要沿着这个连接爬取,就当这个连接不存在。留意,nofollow只是告知蜘蛛不要爬这个连接,沒有说不要抓取连接指向的URL,也沒有说不要数据库索引连接指向的URL,nofollow既没严禁抓取,也没严禁数据库索引。 定义说之后,指出几个SEO们常常弄不搞清楚的状况: 沒有被抓取的网页页面是能够被数据库索引的,蜘蛛沒有浏览和抓取这个网页页面(例如被robots文档严禁抓取),这个网页页面却有信息内容存在数据库索引库中,客户检索时还能看到。 ---------

H5自适应建站

------------


在线客服

关闭

客户服务热线
4008-888-888


点击这里给我发消息 在线客服

点击这里给我发消息 在线客服