欧美精品V国产精品V日韩精品_久久国产加勒比精品无码_国产成人无码综合亚洲日韩_日日噜噜夜夜爽爽

爬行是什么？

爬(pa)行指(zhi)的(de)是(shi)(shi)搜索引(yin)擎蜘蛛從已知頁面(mian)(mian)上(shang)解(jie)析出鏈(lian)接指(zhi)向的(de)URL，然(ran)后沿(yan)著(zhu)鏈(lian)接發現(xian)新頁面(mian)(mian)（也(ye)就是(shi)(shi)鏈(lian)接指(zhi)向的(de)URL）的(de)過程。當然(ran)，蜘蛛并不(bu)是(shi)(shi)發現(xian)新URL馬上(shang)就爬(pa)過去(qu)抓取新頁面(mian)(mian)，而是(shi)(shi)把發現(xian)的(de)URL存(cun)放到待抓地址(zhi)庫中，蜘蛛按照一定順(shun)序從地址(zhi)庫中提取要抓取的(de)URL。

抓取是什么？

抓取(qu)是搜索(suo)引擎(qing)蜘蛛從待(dai)抓地(di)址庫(ku)中提取(qu)要抓的(de)(de)(de)URL，訪問這(zhe)個(ge)URL，把讀取(qu)的(de)(de)(de)HTML代碼存入(ru)數據庫(ku)。蜘蛛的(de)(de)(de)抓取(qu)就是像瀏覽器(qi)一(yi)樣打開(kai)這(zhe)個(ge)頁面，和用戶瀏覽器(qi)訪問一(yi)樣，也會在服務器(qi)原始日志中留下記錄。

索引是什么？

索(suo)(suo)引(yin)指的(de)是(shi)(shi)(shi)將一個URL的(de)信息進行(xing)整理，存入(ru)數據庫(ku)(ku)(ku)，也(ye)就是(shi)(shi)(shi)索(suo)(suo)引(yin)庫(ku)(ku)(ku)，用戶(hu)搜索(suo)(suo)時，搜索(suo)(suo)引(yin)擎從索(suo)(suo)引(yin)庫(ku)(ku)(ku)中(zhong)提取URL信息并排(pai)序展現(xian)出來。索(suo)(suo)引(yin)的(de)英文(wen)是(shi)(shi)(shi)index。索(suo)(suo)引(yin)庫(ku)(ku)(ku)是(shi)(shi)(shi)用于搜索(suo)(suo)的(de)，所以被(bei)(bei)索(suo)(suo)引(yin)的(de)URL是(shi)(shi)(shi)可以被(bei)(bei)用戶(hu)搜索(suo)(suo)到的(de)，沒(mei)有被(bei)(bei)索(suo)(suo)引(yin)的(de)URL用戶(hu)在搜索(suo)(suo)結(jie)果(guo)中(zhong)是(shi)(shi)(shi)看不到的(de)。

要(yao)注意的(de)(de)是，所(suo)謂“一個URL的(de)(de)信息“，并(bing)不限于(yu)蜘蛛從URL上(shang)抓(zhua)取(qu)來的(de)(de)內容，還有(you)來自其它來源的(de)(de)信息，如外部鏈(lian)接、鏈(lian)接的(de)(de)錨文字等(deng)。有(you)的(de)(de)時候，索引(yin)庫中關于(yu)這個URL的(de)(de)的(de)(de)信息，根(gen)本沒有(you)從這個URL抓(zhua)取(qu)來的(de)(de)內容，但搜(sou)索引(yin)擎知(zhi)道這個URL的(de)(de)存在(zai)，并(bing)且有(you)一些其它信息。

抓取和索引不是一回事。

收錄是什么？

我個(ge)(ge)人(ren)覺得(de)收(shou)錄(lu)和索引沒(mei)(mei)有區(qu)別。只不過收(shou)錄(lu)是從(cong)搜(sou)索用戶(hu)角度看的(de)(de)，搜(sou)索時能(neng)找到這個(ge)(ge)URL，就是這個(ge)(ge)URL被收(shou)錄(lu)了(le)。從(cong)搜(sou)索引擎角度看，URL被收(shou)錄(lu)了(le)，也(ye)就是這個(ge)(ge)URL的(de)(de)信息在索引庫中存在。英文(wen)并(bing)沒(mei)(mei)有收(shou)錄(lu)這個(ge)(ge)詞，和索引用的(de)(de)是同一個(ge)(ge)詞index。

noindex的作用是什么？

頁面頭信息中放上meta noindex標(biao)簽是告訴搜索(suo)引擎不要(yao)索(suo)引這(zhe)個URL，也就是用(yong)戶搜索(suo)時找不到這(zhe)個URL的(de)信息，這(zhe)個URL不會返回(hui)在搜索(suo)結(jie)果列表中。

noindex不(bu)是(shi)告訴搜索(suo)引擎不(bu)要抓取這(zhe)個URL，實際上(shang)，noindex要起(qi)作(zuo)用，這(zhe)個URL是(shi)必須(xu)先被抓取的，不(bu)然搜索(suo)引擎怎么(me)看到頁面HTML代(dai)碼中有(you)noindex標簽呢？

robots文件的作用是什么？

robots文件是(shi)告訴搜(sou)索(suo)引擎(qing)，某些(xie)URL不(bu)要(yao)抓(zhua)取。注意，這里(li)說的是(shi)不(bu)要(yao)抓(zhua)取，沒(mei)說不(bu)要(yao)索(suo)引。和(he)noindex是(shi)正(zheng)相反的。

nofollow的作用是什么？

給鏈(lian)(lian)接加(jia)上nofollow屬性(xing)是告(gao)訴(su)(su)搜(sou)索引擎，不要沿著這(zhe)個(ge)(ge)鏈(lian)(lian)接爬(pa)行，就當這(zhe)個(ge)(ge)鏈(lian)(lian)接不存在。注意，nofollow只是告(gao)訴(su)(su)蜘蛛不要爬(pa)這(zhe)個(ge)(ge)鏈(lian)(lian)接，沒(mei)有(you)說不要抓取鏈(lian)(lian)接指向的(de)URL，也沒(mei)有(you)說不要索引鏈(lian)(lian)接指向的(de)URL，nofollow既沒(mei)禁止(zhi)(zhi)抓取，也沒(mei)禁止(zhi)(zhi)索引。

概(gai)念說過(guo)后(hou)，指出(chu)幾(ji)個SEO們經(jing)常弄不明白(bai)的情(qing)況：

沒有被抓取的頁面是可以被索引的，蜘蛛沒有訪問和抓取這個頁面（比如被robots文件禁止抓取），這個頁面卻有信息存在索引庫中，用戶搜索時還能看到。