百度推出了很多自己的產(chǎn)品,仔細(xì)想想,他自己也是利用這些產(chǎn)品數(shù)據(jù)來更好的解決搜索服務(wù)的,百度統(tǒng)計(jì),百度收藏,博客等,
下面說下如何用百度收藏來解決網(wǎng)站的收錄問題
一個網(wǎng)站有很多的頁面,有些頁面Baiduspider可能抓取不到,這個時(shí)候怎么辦呢?讓這個url出現(xiàn)在網(wǎng)絡(luò)上(免費(fèi)發(fā)外鏈論壇),盡可能快得唄蜘蛛發(fā)現(xiàn)
如何去做?
我們可以申請一批百度賬號,然后把這些頁面url添加到每個賬號下的百度收藏里面(如果是大量頁面,百萬級別的,可以開發(fā)工具來做,期待有人解決,呵呵)
用一批百度賬號做收藏,是為了增加爬蟲發(fā)現(xiàn)的幾率和到達(dá)網(wǎng)站的幾率,用百度的收藏夾,是為了解決百度爬蟲的發(fā)現(xiàn)頁面的速度和時(shí)間
做百度收藏的測試結(jié)果如下:看日志
220.181.51.210 - - [02/Sep/2011:10:03:02 -0400] "GET / HTTP/1.1" 200 83160 "-" "Baiduspider-favo+(+https://www.baidu.com/search/spider.htm)"
61.135.190.72 - - [02/Sep/2011:10:03:02 -0400] "GET / HTTP/1.1" 200 83160 "-" "Baiduspider-favo+(+https://www.baidu.com/search/spider.htm)"
ps:百度搜藏 的蜘蛛為 Baiduspider-favo
我們可以吧這個測試拓展,通過百度收藏添加更多的url,那么蜘蛛獲得你網(wǎng)站的url的幾率和數(shù)量是不是很加大很多的,增加了頁面在spider的曝光率,那么收錄也有可能唄解決。以上思路僅供參考,歡迎提出新方法!