构建垂直搜索引擎 互动版

在线工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器

建立项目


  前面讲解了pyspider的抓取示例代码,现在我们就来创建一个pyspider的项目。

  我们在安装完成pyspider启动以后,就可以访问pyspider的dashboard地址为http://localhost:5000,pyspiderdashboard 的右下角,点击 "Create" 按钮,项目名为:_pytest

  替换 _onstart 函数的 self.crawlURL,我们要抓取的地址是:'http://blog.csdn.net/qust_waiwai/article/details/18564231'

  def on_start(self):
        self.crawl('http://blog.csdn.net/qust_waiwai/article/details/18564231', callback=self.index_page)

这样我们的抓取路径就修改完成。