张沈鹏,在路上...

42区创始人,玩过 Django,现在自己写框架,42qu.com 就是他自己的东东写的 ...

↑我也要推荐

gevent 动态添加下载任务的研究

发布时间:2012-06-25 14:23:00, 关注:+5104, 赞美:+4, 不爽:+3

最近在做一个站点,需要在网络上收集一些资料。干这活用python很合适,于是就准备用gevent+requests实现一个爬虫。以前曾用gevent抓取过漫画,但那时的url都是先生成的,并非动态添加,所以需要解决gevent的动态添加任务的问题。

普通的gevent下载方式,gevent.pool控制并发,动态添加下载地址

详细:http://blog.plotcup.com/a/82

如果你觉得本站对你有帮助,欢迎向本站赞助 :P

使用支付宝捐赠

Copyright© Python4cn(news, jobs) simple-is-better.com, 技术驱动:powered by web.py 空间主机:Webfaction

版权申明:文章转载已注明出处,如有疑问请来信咨询。本站为 python 语言推广公益网站,与 python 官方没有任何关系。

联系/投搞/留言: en.simple.is.better@gmail.com 向本站捐赠