构建垂直搜索引擎 互动版

建立项目


  前面讲解了pyspider的抓取示例代码,现在我们就来创建一个pyspider的项目。

  我们在安装完成pyspider启动以后,就可以访问pyspider的dashboard地址为http://localhost:5000,pyspiderdashboard 的右下角,点击 "Create" 按钮,项目名为:_pytest

  替换 _onstart 函数的 self.crawlURL,我们要抓取的地址是:'http://blog.csdn.net/qust_waiwai/article/details/18564231'

  def on_start(self):
        self.crawl('http://blog.csdn.net/qust_waiwai/article/details/18564231', callback=self.index_page)

这样我们的抓取路径就修改完成。