Google是如何更新全部索引的？這是一個(gè)范圍相當(dāng)寬的問題，大家都知道，Google為確保向用戶提供最具相關(guān)性和質(zhì)量最高的搜索結(jié)果而對(duì)其數(shù)據(jù)庫按月進(jìn)行更新。為了回答上述問題，在本文中我將向大家詳細(xì)說明Google更新過程的每個(gè)步驟。
有相當(dāng)多的用戶和公司都已經(jīng)發(fā)現(xiàn)，為了在早期的搜索引擎優(yōu)化中，能在Google里有個(gè)很好的排名，在認(rèn)真做計(jì)劃之前就要采取一切必要的措施。就免費(fèi)提交的搜索引擎來說，Google是為數(shù)極少之中的一個(gè)，也是最早將網(wǎng)站收錄到數(shù)據(jù)庫的搜索引擎之一。到2003年7月10日為止，Google已經(jīng)成為收錄34億個(gè)網(wǎng)頁之多的最廣泛的數(shù)據(jù)庫。其中只有一小部分不能夠被Google訪問，因?yàn)檫@些站點(diǎn)是不能夠被搜索引擎爬蟲或蜘蛛所訪問的。
就象在現(xiàn)實(shí)生活中一樣，無論是對(duì)網(wǎng)站所有者、網(wǎng)站管理員還是搜索引擎優(yōu)化專家來說，當(dāng)開始一個(gè)新產(chǎn)品的市場(chǎng)時(shí)，有很大的風(fēng)險(xiǎn)和潛在的復(fù)雜性。然而大多數(shù)專家都一致同意在使用Google搜索時(shí)，要正確輸入關(guān)鍵字，這樣才可以有效地搜索到你所要查找的信息。因?yàn)镚oogle每個(gè)月都會(huì)更新它的數(shù)據(jù)庫。在這篇文章中，我們要解釋關(guān)于“Google Dance”的信息，還有如何在恰當(dāng)?shù)臅r(shí)間理解“Googlebot”。另外，我們也會(huì)告訴你如何進(jìn)行搜索引擎的優(yōu)化
著名的“Google Dance”
如果你想寫封信去參加在Google總部的年度更新過程，那么你可能希望繼續(xù)讀到GooglePlex這篇文章，從中了解Google數(shù)據(jù)庫和搜索引擎機(jī)器人是何如工作的。關(guān)于Google每月周期性的更新過程有很多的文檔記錄。而在過去整整一年，Google的這種每個(gè)月的周期性更新(如今人們親切稱之為“Google Dance”)對(duì)那些焦慮等待的網(wǎng)站所有者和網(wǎng)站管理員來說，都變得愈加復(fù)雜和不可琢磨。
每次的更新都是從Google的一個(gè)主要的深層次的爬蟲開始的。我們先把它叫做爬蟲A。它是如何索引到整個(gè)網(wǎng)站中至少三四十億的網(wǎng)頁的呢？Google使用了15,000多臺(tái)位于不同數(shù)據(jù)中心的計(jì)算機(jī)，來索引全世界范圍內(nèi)的站點(diǎn)。當(dāng)Googlebot來搜索數(shù)據(jù)庫中現(xiàn)有站點(diǎn)時(shí)，同時(shí)也會(huì)搜索到最新的網(wǎng)站。一旦Google完成了爬蟲A這個(gè)過程，就會(huì)為下一步的更新有效地搜索到所有的網(wǎng)頁，然后便是兩個(gè)星期后的第二次更新過程。
最后，Google會(huì)更新整個(gè)數(shù)據(jù)庫，在www2.google.com和www3.google.com這兩個(gè)站點(diǎn)上可以看到最新的更新結(jié)果。在更新的同時(shí)，其結(jié)果會(huì)很快的連接在主要數(shù)據(jù)庫和第二、第三個(gè)數(shù)據(jù)庫之間。由于Google使用的服務(wù)器有15,000臺(tái)之多，因此在整個(gè)更新結(jié)束之前，不同地方的人們所得到的搜索結(jié)果是不同的。“Google Dance”會(huì)持續(xù)好幾天，但是不會(huì)超過一個(gè)星期。除非Google要改變一些主要的規(guī)則，比如2003年4月份的更新。
無論是在Google的每個(gè)數(shù)據(jù)庫更新的時(shí)候還是在更新之后, 只要其中一個(gè)數(shù)據(jù)庫進(jìn)行更新，Google又會(huì)開始新一輪的“全面”檢索。我們把它稱做爬蟲B。這次檢索仍然包括數(shù)據(jù)庫中所有已被收錄站點(diǎn)和一些新發(fā)布的網(wǎng)站。GoogleBot的這次檢索完成之后，就是Google下一輪更新的起點(diǎn)，意味著下個(gè)月的更新又全面開始了。
在完美時(shí)間“捕捉”Googlebot
為了得到包括Google數(shù)據(jù)庫在內(nèi)的任何網(wǎng)站，或是數(shù)據(jù)庫中有效反映更新的網(wǎng)站，一個(gè)有經(jīng)驗(yàn)的網(wǎng)站管理員需要事先作認(rèn)真的計(jì)劃，并準(zhǔn)備好一切。這樣他才能在能每月特定的更新過程中“抓住”Googlebot，以取得一個(gè)好的排名。多數(shù)好的搜索引擎優(yōu)化專家都知道Googlebot一開始的索引都是在月初進(jìn)行的，而深層次的索引是在更新之后開始的。
如果一個(gè)網(wǎng)站管理員希望在Google的數(shù)據(jù)庫中收錄一個(gè)新站點(diǎn)，那么問題是，會(huì)不會(huì)有一個(gè)爬蟲來保證收錄呢？根據(jù)我們對(duì)其每月更新的經(jīng)驗(yàn)來判斷，并不總是這樣的。毫無疑問，如果一個(gè)網(wǎng)站在月初就被索引的話，那么在這個(gè)月的更新過程中，就不會(huì)被收錄。如果是在這個(gè)月的第二次索引中提交的話，就有可能被重新訪問，并且在下次的更新時(shí)被收錄。
在其他情況下，Google只是簡(jiǎn)單瀏覽一下新提交的站點(diǎn)，記下主頁和Robots.txt文檔。像這種行為通常是一個(gè)好的指示，Googlebot會(huì)在下次主要索引期間再次回來。所以站點(diǎn)通常會(huì)在第二次索引更新時(shí)被收錄。對(duì)一個(gè)新的網(wǎng)站來說，被收錄到Google的數(shù)據(jù)庫中，要被在Googlebot那里訪問兩次。雖然有些例外的情況，但多數(shù)情況下是這樣的。
為了確保快速被收錄的可能，一個(gè)有經(jīng)驗(yàn)的網(wǎng)站管理員需要做一些工作。如果網(wǎng)站被Googlebot第一次更新后索引的話，這其實(shí)是一個(gè)很好的跡象，很有可能會(huì)在Google下個(gè)月的更新中被收錄。如果這次沒有被索引的話，網(wǎng)站管理員就要為再次的索引等待更長(zhǎng)的時(shí)間。
根據(jù)這一點(diǎn)，一個(gè)網(wǎng)站管理員如果要想讓他的網(wǎng)站在Google更新時(shí)的這個(gè)非常時(shí)期得到索引，那么他一般應(yīng)該怎么做呢？他完全可以做些必要的準(zhǔn)備工作。如果有被Google已經(jīng)收錄的網(wǎng)站，那么可以通過這些網(wǎng)站的變化來觀察整個(gè)檢索過程和所有更新日期, 然后據(jù)此仔細(xì)規(guī)劃新網(wǎng)站的發(fā)布。此外，如果沒有已經(jīng)為Google收錄的網(wǎng)站，也不要緊，可以常訪問www.google.com來觀察它的更新過程。
然而，實(shí)際生活中幾乎不可能100%的確定任何網(wǎng)站都可以部分的或是全部的被索引，為了能使您的網(wǎng)站被Googlebot索引到，網(wǎng)站管理員需要做一些工作。第一，要和那些頁面等級(jí)高的站點(diǎn)交換連接。因?yàn)檫@些網(wǎng)站會(huì)經(jīng)常被Google索引和更新。也就是說，如果和他們做連接的話，你的站點(diǎn)也會(huì)被經(jīng)常地索引和更新。但要注意的是一定要有相關(guān)性：如果一個(gè)網(wǎng)站是做家具零售的，那就要和其相似的公司，比如家具制作或銷售的站點(diǎn)做連接。這樣做Google會(huì)給你一個(gè)較高的等級(jí)；反之，和那些無關(guān)的網(wǎng)站做連接則不會(huì)得到一個(gè)高的等級(jí)。第二，你也可以直接向Google做提交。雖然這不是最好的方法，但也是值得去做的。第三，網(wǎng)站管理員可以安裝一個(gè)Google工具欄，通過這個(gè)工具欄可以訪問到其它站點(diǎn)。自2002年中期起，就有很多關(guān)于網(wǎng)站被Google數(shù)據(jù)庫收錄和通過Google工具欄訪問二者直接關(guān)系的報(bào)告。
你也可以選擇Yahoo的有償收錄服務(wù)，這樣可以保證在七天內(nèi)被Yahoo收錄。一旦為Yahoo收錄，你的網(wǎng)站就會(huì)很快被Google收錄了。當(dāng)然你不用每年都花299美元。還有一個(gè)不用花錢的方法，就是把你的網(wǎng)站提交到DMOZ。雖然它的服務(wù)器有時(shí)會(huì)出現(xiàn)問題，而且被DMOZ收錄可能要花很長(zhǎng)的時(shí)間。但這確是一個(gè)能讓您的網(wǎng)站被Google收錄的好方法。
結(jié)論：
所有可以提供給網(wǎng)站管理員和搜索引擎優(yōu)化專家的技術(shù)信息，都是從Google爬蟲和更新模式那里得到的。它們會(huì)對(duì)搜索引擎優(yōu)化的計(jì)劃和實(shí)施有很大幫助。其中最主要的是有助于我們安排計(jì)劃，因?yàn)樾碌奶岣吆透滦枰粋�(gè)被收錄到搜索引擎數(shù)據(jù)庫的特定時(shí)間和日期。由于Google決定了大部分的目標(biāo)搜索引擎訪問量，所以讓你的網(wǎng)站為Google收錄是十分有必要的。 |
在線客服1號(hào)
