爬虫基本概念

爬虫技术是一种获取网页信息的技术。通过程序获取网页信息一般都需要跟踪网页上的链接进行下一步信息搜集，这个过程犹如一个爬虫在网络空间中根据某种提示（即链接）进行爬行，所以将该技术成为爬虫。在爬虫技术栈中获取网页信息只是第一步，后续还需要进行网页内容抽取，网页去重，数据存储和分析等。