首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
华为云
V2EX  ›  Python

socket 多线程运行报错,大佬们帮帮看下

  •  
  •   wjx1993 · 205 天前 · 2217 次点击
    这是一个创建于 205 天前的主题,其中的信息可能已经有所发展或是发生改变。

    背景:同时开了几千个线程,运行到 300 多个线程的时间报错了, socket.setdefaulttimeout(45) sleep_download_time = 1 time.sleep(sleep_download_time) 超时和延时都有加上

    1、ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。 这个我认为是被服务器拒绝了,被发是爬虫了?

    2、socket.timeout: timed out 这个我已经设置了超时的时间,还是报错了

    32 回复  |  直到 2018-04-25 17:14:58 +08:00
        1
    wjx1993   205 天前 via Android
    求大佬们帮忙看看,跪求😂
        2
    ai277014717   205 天前
    为什么要开着么多线程?是没试过最多可以开多少个线程?
        3
    HypoChen   205 天前
    几千个线程去爬,可能不是发现是爬虫了,是发现被 D 了。。。。
        4
    wjx1993   205 天前 via Android
    @HypoChen 怎么解决这个问题
        5
    wjx1993   205 天前 via Android
    @ai277014717 多线程效率高啊!怎么解决这个问题・_・?一个线程跑正常
        6
    goofool   205 天前
    每个线程一个代理吗?
        7
    wjx1993   205 天前 via Android
    @goofool 没有用代理,这个还要代理?
        8
    A555   205 天前
    @wjx1993 你这样去请求别人 把你 ip 封了
        9
    wjx1993   205 天前 via Android
    @A555 应该不是封 ip,我重新运行后还是可以跑的,每次重新跑都是大概跑到 300 多线程就保存了
        10
    onepunch   205 天前
    你把 sleep 设置的时间长一点
        11
    wjx1993   205 天前 via Android
    @onepunch 时间设置太久就没意义了,要跑的内容太多了,好几千个线程要等到什么时候?
        12
    susecjh   205 天前
    线程多就一定快?想多了
        13
    ai277014717   205 天前
    @wjx1993 多线程效率不一定高。nodejs 还是单线程呢。看看磁盘内存 CPU 有没有瓶颈吧。还要考虑到网站服务器的承受能力,有的服务器可能还没个人 pc 的配置高呢。
        14
    ericls   205 天前 via iPhone
    爬虫的精髓在于怎么慢 而不是怎么快
        15
    changnet   204 天前 via Android
    我一直不理解开很多线程的代码逻辑,尤其有些库在测试性能时还开了几百个,难不成大家的 cpu 都是几百上千核的,或者是逻辑都是阻塞写法。开了那么多线程,我的其他逻辑还要不要跑了,三五个线程差不多了。
        16
    wjx1993   204 天前 via Android
    @changnet 一般上限是 3 万多,但是这个是可以设置的,这个要看你怎么写了
        17
    linyinma   204 天前
    @wjx1993
    从你的描述很显然啊,远程服务器设置了瞬时并发数啊(如 nginx 添加 nginx_http_limit_conn_module )来限制同一个 ip 来源的连接数,防止恶意攻击访问)
        18
    wjx1993   204 天前 via Android
    @susecjh 不是说一定快,我是说要爬的内容必须要同时运行,所以才用了多线程
        19
    wjx1993   204 天前 via Android
    @ericls 太慢的话,还没爬完,数据就没了😂
        20
    wjx1993   204 天前 via Android
    @linyinma 是不是只有用 ip 代理才可以解决? 那我要怎么设置切换 ip ?
        21
    WordTian   204 天前 via Android
    你一个 ip 整上千个并发连接,你不被拦谁被拦
        22
    wjx1993   204 天前 via Android
    @WordTian socket 应该怎么切换代理
        23
    WordTian   204 天前 via Android
    用 squid 吧
        24
    WordTian   204 天前 via Android
    @WordTian 噢,刚发现 squid 主要是 HTTP 代理,socket 的我还真不知道
        25
    defphilip   204 天前
    开几千个线程的爬虫。。。。系统吃的消吗
    真的想用多线程,开个线程池几个线程并发跑就好了
        26
    wjx1993   204 天前 via Android
    @defphilip 还好吧,只是跑到 300 多就被服务器拒绝了,线程池总是有点问题,调了好长时间,话说线程池就不会报错被服务器拒绝了吗?
        27
    wjx1993   203 天前 via Android
    @defphilip 线程池要怎么写?大佬有例子介绍一下吗?😂
        28
    wjx1993   203 天前 via Android
    沉了吗
        29
    ai277014717   203 天前
    @wjx1993 参考前面说的你想办法爬慢点就能解决了。并发控制到 300 以下试试。
    线程池我觉的可有可无,主要是写了可以减少开销。
        30
    wjx1993   203 天前 via Android
    @ai277014717 不能爬太慢,需求就是要同时并发好几千,所以暂时只想到用线程池,但是自己写的线程池总是有问题,跑不起来所以请教一下线程池的写法,最好有个例子最好了,多谢啦!
        31
    hcnhcn012   203 天前 via iPhone
    concurrent.futures.ThreadPoolExecutor 了解一下
        32
    wjx1993   203 天前 via Android
    @hcnhcn012 好的,多谢!不过我又分析了一下自己的需求,发现目前用不了多进程,只能多线程了,不过会被服务器拒绝,请问有比较好的 socket 代理吗?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3194 人在线   最高记录 3821   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 20ms · UTC 04:03 · PVG 12:03 · LAX 20:03 · JFK 23:03
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1