首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

[开源]scrapy 爬取国内各大视频网站视频信息 [欢迎新手一起交流]

  •  
  •   skyqqcc · 34 天前 · 939 次点击
    这是一个创建于 34 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为想做一个 VIP 视频网站 /APP 然后不太想用第三方的资源站或者是程序。

    想做一个能够爬取国内各大视频网站的视频信息的爬虫程序。

    爬的信息主要是: 标题,导演,主演,简介,类型,年份,VIP/用卷 /收费 /免费,片头时间,片尾时间,图片(横 /竖),地区,评分,集数,是否完结等....

    目前我已经做好了一丢丢了。。。腾讯视频可以算是好了(还有一丢丢问题,极少部分视频不能爬取)

    如果觉得这个东西可能有用的话 可以点个 star 可能很久以后,会完善

    如果你需要一个项目练练手。。。那么,欢迎你来和我一起完善这个项目。。。

    项目地址:https://github.com/perfect-network/scrapy_for_video.git

    7 回复  |  直到 2019-01-17 18:05:41 +08:00
        1
    luckbbs   34 天前
    有点意思,star 一个。
        2
    Belmode   34 天前 via Android
    关注一波不迷路
        3
    cherrybob   34 天前
    没有验证码,IP 反爬虫限制的处理吗?
        4
    skyqqcc   34 天前
    @cherrybob 没有,我只是爬信息而已
        5
    skyqqcc   34 天前
    @cherrybob 而且可以直接去他们这个视频 APP/小程序等客户端里抓包,直接去抓接口。。。腾讯视频里就有两个接口是从腾讯视频小程序里抓到的
        6
    woshicixide   34 天前 via Android
    楼主 ip 用的哪家的代理
        7
    skyqqcc   34 天前
    @woshicixide 目前还没有用到代理。。。。。可能以后会用到吧
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2483 人在线   最高记录 4385   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 18ms · UTC 13:37 · PVG 21:37 · LAX 05:37 · JFK 08:37
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1