首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

scrapy 中转换 utf-8 后说没有 xpath

  •  
  •   Ewig · 49 天前 · 729 次点击
    这是一个创建于 49 天前的主题,其中的信息可能已经有所发展或是发生改变。

    response.body.decode(encoding="utf-8") linkList =response.body.decode(encoding="utf-8").xpath( '//td[@class="pming_black12 ms-rteTableOddCol-BlueTable_CHI"]/a/@href')

    报错如下

    ttributeError: 'str' object has no attribute 'xpath' 请问如何写才是正确的

    10 回复  |  直到 2019-01-02 17:39:00 +08:00
        1
    j0hnj   49 天前
    随手查了一下,`xpath` 是 response 对象的方法:

    https://doc.scrapy.org/en/latest/topics/request-response.html#response-subclasses
        2
    chengxiao   49 天前
    先 xpath 再 encoding,而且 xpath 对象需要 extract
        3
    Ewig   49 天前
    @j0hnj 我知道啊,现在怎么写才是正确的
        4
    Ewig   49 天前
    @chengxiao linkList =response.xpath(u'//td[@class="pming_black12 ms-rteTableOddCol-BlueTable_CHI"]/a/@href').extract()这样写就是返回空了,你在 encoding 也不对啊
        5
    ioven   49 天前
    @Ewig xpath 写错了吧,而且 href 不需要解码
        6
    xiaoxinxiaobai   49 天前 via Android   ♥ 1
    真可怕
        7
    15399905591   49 天前
    response.xpath( '//td[@class="pming_black12 ms-rteTableOddCol-BlueTable_CHI"]/a/@href')

    有什么问题???
        8
    animal   49 天前 via Android
    楼主这个用法不太对。1.xpath 是 selector 的方法,而 response.body 的类型是 bytes ; 2.楼上所说的 response.xpath 是 TextResponse 类(scrapy 的默认 downloader 会根据 content-type 自动转换)的方法,如果你用 response.xpath 提示报错,说明这个 response 的 content-type 不是文本格式(可能是图片,应用之类的)
        9
    Ewig   48 天前
    @15399905591 我都说了这里的 response 返回的是乱码,你这样直接 xpath 匹配的肯定是空?你没明白我的意思?
        10
    Ewig   48 天前
    @animal 因为编码不对是 乱码,所以 xpath 匹配不到
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3829 人在线   最高记录 4385   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 20ms · UTC 07:54 · PVG 15:54 · LAX 23:54 · JFK 02:54
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1