ES存储
前面已经提到把数据存储到ES中,我们在这里就来实现,代码如下:
def on_result(self, result):
if not result or not result['title']:
return
es = Elasticsearch()
es.index(index="article", doc_type="detail", body={"content": result['txt'],"title" :result['title'],"url":result['url']})
在代码的开头部分我们还需要引入操作ES的模块:from elasticsearch import Elasticsearch。
这样存储部分也完成了,然后点击save。回到dashboard页面,找到项目_pytest,修改status为running,点击run就可以抓取了。