构建垂直搜索引擎 互动版

在线工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器

数据存储


  pyspider是个非常强大简单易用的爬虫框架,默认软件会把采集的所有字段打包保存到默认的数据库中,但是我们不希望存到默认数据库中,要存到ES中。这就要求重写pyspider的_onresult函数,我们将重写的_onresult函数放到_detailpage函数后面,当程序运行时就会执行我们的_onresult函数了。

  重写的_onresult函数的功能就是将已经解析完成的数据保存到ES中。具体实现我们将在后面进行讲解。