数据存储
pyspider是个非常强大简单易用的爬虫框架,默认软件会把采集的所有字段打包保存到默认的数据库中,但是我们不希望存到默认数据库中,要存到ES中。这就要求重写pyspider的_onresult函数,我们将重写的_onresult函数放到_detailpage函数后面,当程序运行时就会执行我们的_onresult函数了。
重写的_onresult函数的功能就是将已经解析完成的数据保存到ES中。具体实现我们将在后面进行讲解。
pyspider是个非常强大简单易用的爬虫框架,默认软件会把采集的所有字段打包保存到默认的数据库中,但是我们不希望存到默认数据库中,要存到ES中。这就要求重写pyspider的_onresult函数,我们将重写的_onresult函数放到_detailpage函数后面,当程序运行时就会执行我们的_onresult函数了。
重写的_onresult函数的功能就是将已经解析完成的数据保存到ES中。具体实现我们将在后面进行讲解。