簡單徹底的鏈接搜索引擎--蜘蛛
POST TIME:2020-10-25
我是蜘蛛，也有人管我就網絡爬蟲，總之，我是搜索引擎的一個自動程序，我每天的工作就是訪問互聯網上的“html”網頁。我的好奇心很強，通常對于第一次遇到的“html”網頁，我都會把它們帶回來，放到索引數據庫里面，你能在搜索引擎上找到的網頁就是我帶回來的。
因為我是一個自動程序，我是依靠各項設定的規則來行動的，如果你想知道我的行動規則，就繼續向下讀吧。
我每天都非常勤奮的工作，從來都不知道休息，我最喜歡去的地方就是網站提交服務器，因為大家會把最新的網站網址提交到那里，沿著提交過來的網址，我總能找到很多的“html”網頁。但是對于這些新提交過來的網址，我還是非常挑剔的。我最怕的就是沿著網址爬過去了，卻發現什么都沒有，或者爬過去之后發現發現環境很不穩定，有的道路都是死路口或者錯誤的路口，對于這種情況，我會毫不猶豫的馬上走掉，什么都不帶走。當然，我走了以后，還會抽空再過來看看，如果情況長時間沒有改變，我就發誓這輩子都不再來了。相反，如果我來的時候，發現環境很好，道路通暢，而且內容豐富，我的心情自然就變的非常的好，不僅會帶走很多東西，而且會經常的光顧，這樣的情況持續的時間長了，我就會非常信任這樣的站點。
說實話，我的工作還是非常辛苦的，需要去的地方實在的太多了，但是別擔心，我不會偷懶的。為了提高我的工作效率，我總結了一個經驗，這也是長期的工作積累下來的一個經驗。我經常光顧一個站點的時候就發現，并不是我每次去都能發現新東西的。而是有固定的時間間隔和一定的規律可循的，我舉個例子，當我對一個站點經過一段時間的觀察，就會發現這個站點是每天的上午9點鐘到下午的6點種，這段時間新內容比較多，而且要拿來這些內容，每隔兩個小時去一次就行了，其他是時間去了也是白去。那么針對這個站點，我就會在自己的規則里填寫上這樣一條規則，以后就按照這樣的規則執行，即節省了時間，又提高了效率。
對于一些不能發現規律的站點，我也會自定義規則，其實我每次去的時候都會留下痕跡的，我非常希望站長們能發現這些痕跡，讓我每次去的時候都能有所收獲，因為徒勞無功的感覺實在很難過。
實際上，我是非常好相處的。因為我信任誰，就會把誰當成我的朋友，有朋友的感覺實在是好的不得了，平時有很多地方都是朋友朋友介紹我去的，你可以看看我經常光顧的站點上的“友情鏈接”部分，那就是我的朋友特意為我準備的。對于朋友的介紹，我自然是非常的信任，因為好朋友是不會欺騙我的，但是對于欺騙我的朋友，我也會給他嚴厲的懲罰。
我是蜘蛛，是網站與搜索引擎交流的自動程序，跟蹤我的動向和搜索引擎的反應，然后對你的網站進行有的放矢的優化，這是我給你的建議。（感謝冇陷提供）
