楼(lóu )上(shàng )说的很多,我补(bǔ )充一下(xià ),正确(què )的应该叫(jiào )网络(luò )蜘(zhī )蛛,又(yòu )称(chēng )爬虫(chóng ),本质是(shì )搜索引擎派出(chū )的(de )一(yī )个执行抓(zhuā )取任务的(de )程(chéng )序(xù )蜘蛛池的本质(zhì )是大(dà )量的网站互相(xiàng )链(liàn )接(jiē ),每个站单(dān )独产生(shēng )大量的内容吸引蜘蛛来爬(pá ),几千个网站互链时,可以想象蜘(zhī )蛛的链接
Copyright © 2008-2018