首页   注册   登录
 15399905591 最近的时间轴更新

15399905591

V2EX 第 234415 号会员,加入于 2017-06-07 16:33:43 +08:00
15399905591 最近回复了
29 天前
回复了 warcraft1236 创建的主题 Python Mac 系统下, Scrapy 自动走系统代理?
两边都是访问的同一个地址吗? 是不是你的代理有做条件切换呢?
30 天前
回复了 warcraft1236 创建的主题 Python Mac 系统下, Scrapy 自动走系统代理?
你的系统代理设置的是全局的吧?
@ranlele 你现在的请求量是多大呢? 超时了只是因为推送请求的效率大于处理请求的效率,你把速度降下来,等堆积的任务处理完就好了啊
膜拜下大佬,以前一直用 spiderkeeper,可那东西坑实在太多了。。
你可以考虑配置一个 scrapy-splash+haproxy 搭建一个集群就行了。但是还是看你的频率,如果频率过高的话,使用 scrapy-splash 其实并不合适。你应该考虑直接研究具体的请求。
控制频率啊,或者添加多个 scrapy-splash 做个负载均衡,然后调整一下你的 scrapy-splash 配置。
32 天前
回复了 firejoke 创建的主题 Python 董伟明的个人网站忘续费了吗?
他暂时切换了新域名 https://blog.pycourses.com
32 天前
回复了 cf472436288 创建的主题 Python 都说裁员多,为什么没有看到 Python ?
长沙 python 根本找不到工作的路过。。。
你是不是推送了太多请求队列了,scrapy-splash 是异步的,它的超时计算是按你发起的请求时间就计算的,比如你发起 1W 个请求, 超时时间 10S,当处理到 1000 条时已经达到了 10S,那后面 9000 条全部会返回 timeout
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   993 人在线   最高记录 4385   ·  
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 7ms · UTC 18:34 · PVG 02:34 · LAX 10:34 · JFK 13:34
♥ Do have faith in what you're doing.
沪ICP备16043287号-1