百度推出了很多自己的產品,仔細想想,他自己也是利用這些產品數(shù)據(jù)來更好的解決搜索服務的,百度統(tǒng)計,百度收藏,博客等,
下面說下如何用百度收藏來解決網(wǎng)站的收錄問題
一個網(wǎng)站有很多的頁面,有些頁面Baiduspider可能抓取不到,這個時候怎么辦呢?讓這個url出現(xiàn)在網(wǎng)絡上(免費發(fā)外鏈論壇),盡可能快得唄蜘蛛發(fā)現(xiàn)
如何去做?
我們可以申請一批百度賬號,然后把這些頁面url添加到每個賬號下的百度收藏里面(如果是大量頁面,百萬級別的,可以開發(fā)工具來做,期待有人解決,呵呵)
用一批百度賬號做收藏,是為了增加爬蟲發(fā)現(xiàn)的幾率和到達網(wǎng)站的幾率,用百度的收藏夾,是為了解決百度爬蟲的發(fā)現(xiàn)頁面的速度和時間
做百度收藏的測試結果如下:看日志
220.181.51.210 - - [02/Sep/2011:10:03:02 -0400] "GET / HTTP/1.1" 200 83160 "-" "Baiduspider-favo+(+https://www.baidu.com/search/spider.htm)"
61.135.190.72 - - [02/Sep/2011:10:03:02 -0400] "GET / HTTP/1.1" 200 83160 "-" "Baiduspider-favo+(+https://www.baidu.com/search/spider.htm)"
ps:百度搜藏 的蜘蛛為 Baiduspider-favo
我們可以吧這個測試拓展,通過百度收藏添加更多的url,那么蜘蛛獲得你網(wǎng)站的url的幾率和數(shù)量是不是很加大很多的,增加了頁面在spider的曝光率,那么收錄也有可能唄解決。以上思路僅供參考,歡迎提出新方法!