首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
拉勾
V2EX  ›  Python

如何爬取日本亚马逊的商品数据?

  •  
  •   Negan · 80 天前 · 1353 次点击
    这是一个创建于 80 天前的主题,其中的信息可能已经有所发展或是发生改变。
    老大给了个任务要爬日本亚马逊上某类商品的价格以及评论,自己之前都是爬国内的,日本亚马逊现在被墙了,需要怎么样才能爬到数据呢? lantern 连上了然后终端 export https_proxy=localhost:port 也试过了,国外的代理 IP 也试过了,都以失败告终,错误如下:
    requests.exceptions.ProxyError: HTTPSConnectionPool(host='www.amazon.co.jp', port=443): Max retries exceeded with url: /dp/B000UTKMDQ (Caused by ProxyError('Cannot connect to proxy.', ConnectionResetError(104, 'Connection reset by peer')))
    请问一下各位,是怎么爬的? API 还是其他方式?感谢感谢
    12 回复  |  直到 2019-01-04 14:10:35 +08:00
        1
    sobigfish   80 天前
    被墙了就找国外的服务器部署爬呗
    难道你要自己掏钱?
        2
    kanata   80 天前
    。。。买台日本服务器呗,对于公司来说一个月也没多少钱
        3
    Negan   80 天前
    @sobigfish 掏钱肯定是老大掏,我就想看看还有没有其他方法能够爬到数据,哈哈,感谢大佬回答
        4
    Negan   80 天前
    @kanata 公司应该有,我想的是能自己解决就自己解决,搞不定再找老大
        5
    vtwoextb   80 天前
    买个 linode 不就行了吗 很便宜的
        6
    edsheeran   80 天前 via iPhone
    姿勢不對
        7
    locoz   80 天前
    被墙了的网站你直接用国内的机子连国外代理是不可能爬的。。。要不然帆樯的时候还用得着酸酸之类的东西吗,直接连个代理就完了。
        8
    ctro15547   80 天前
    几十块一个月随便搞个搬瓦工部署一下唄,对于数据而言这点钱不算啥吧
        9
    gogo2   80 天前
    amazon 不好爬的, 和淘宝一样的,
        10
    testcaoy7   80 天前
    其实我一直不明白为什么要墙亚马逊日本
        11
    sobigfish   80 天前
    @testcaoy7 #10 估计日本文化的东西,但那种东西好像本来就不能出口
    ---
    lz 爬这些肯定不是一次性的,所以代理什么的只能解决几次需求,部署到国外的服务器上一直实时爬才是好的节奏。
        12
    JasperYanky   80 天前
    有 api
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   852 人在线   最高记录 4385   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 16ms · UTC 19:45 · PVG 03:45 · LAX 12:45 · JFK 15:45
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1