什么是網(wǎng)絡(luò)爬蟲

網(wǎng)絡(luò)爬蟲(Web Crawler或Spider)也叫做網(wǎng)絡(luò)蜘蛛，是搜索引擎用來抓取網(wǎng)頁的工具。例如谷歌的網(wǎng)絡(luò)爬蟲：Googlebot，百度的網(wǎng)絡(luò)爬蟲：BaiduSpider。

每個(gè)搜索引擎都擁有大量網(wǎng)絡(luò)蜘蛛，大量蜘蛛每天不停的爬取互聯(lián)網(wǎng)中的網(wǎng)頁文件(老網(wǎng)站和新網(wǎng)站)，并把爬行到的數(shù)據(jù)存入搜索引擎數(shù)據(jù)庫。正是因?yàn)橛辛司W(wǎng)絡(luò)蜘蛛，您的網(wǎng)站才能被及時(shí)發(fā)現(xiàn)。

搜索引擎會(huì)根據(jù)網(wǎng)站類型和承載能力設(shè)定合理的抓取頻次，以防止爬行頻率過高對(duì)網(wǎng)站服務(wù)器造成影響。