建立项目
前面讲解了pyspider的抓取示例代码,现在我们就来创建一个pyspider的项目。
我们在安装完成pyspider启动以后,就可以访问pyspider的dashboard地址为http://localhost:5000, 在pyspider 的 dashboard 的右下角,点击 "Create" 按钮,项目名为:_pytest
替换 _onstart 函数的 self.crawl 的 URL,我们要抓取的地址是:'http://blog.csdn.net/qust_waiwai/article/details/18564231'
def on_start(self):
self.crawl('http://blog.csdn.net/qust_waiwai/article/details/18564231', callback=self.index_page)
这样我们的抓取路径就修改完成。