首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX 提问指南
广告
V2EX
›
问与答
scrapy 在一台电脑运行,多线程是如何工作的呀
fdsfsdfsdf3334
·
2014-09-27 04:34:07 +08:00
· 5831 次点击
这是一个创建于 3746 天前的主题,其中的信息可能已经有所发展或是发生改变。
scrapy 通过 start url 获取到了100个url,那么 在抓这100个url的时候,是一个线程去抓的,还是它会自动把100个url进行分割,然后分给不同的线程去抓呀
Scrapy
url
分割
1 条回复
•
2016-07-26 23:43:09 +08:00
1
caoxiaozh
2016-07-26 23:43:09 +08:00
scrapy 默认是 10 个线程的。
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2776 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms ·
UTC 14:51
·
PVG 22:51
·
LAX 06:51
·
JFK 09:51
Developed with
CodeLauncher
♥ Do have faith in what you're doing.