首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
V2EX  ›  分享创造

也来一发,豆瓣害羞组读图版

  •  4
     
  •   binux · 2014-10-26 21:16:15 +08:00 · 18933 次点击
    这是一个创建于 1271 天前的主题,其中的信息可能已经有所发展或是发生改变。

    看到有人专名写一个爬虫,于是用手上的东西,做了一个这个东西。
    先直接上地址: https://f.binux.me/haixiuzu.html

    pyspider DEMO版 + 多说 做数据库 + 前端渲染一个瀑布流

    嘿,还真像那么回事有没有。

    那么问题来了,还有哪些免费的 KV 数据库,有 HTTP API 的,能公开读取数据的。
    多说老是转义导入的数据。。

    43 回复  |  直到 2016-01-19 19:23:38 +08:00
        1
    oojiayu   2014-10-26 21:44:01 +08:00
    赞一个
        2
    ihacku   2014-10-26 22:03:00 +08:00
    CouchDB?
        3
    ChiangDi   2014-10-26 22:08:39 +08:00
    豆瓣好奇怪,为什么那么多妹纸晒。。
        4
    can   2014-10-26 22:09:33 +08:00
    不是说晚上管理员一下班,这组就……?
        5
    binux   2014-10-26 22:11:20 +08:00
    @ihacku 不想要自己搭啊
        6
    Shared   2014-10-26 22:15:19 +08:00
    为什么有css和js文件不能加载,主页裸奔了
        7
    jprovim   2014-10-26 22:37:20 +08:00   ♥ 2
    Firebase, 剛剛被google收購. @binux
        8
    shoumu   2014-10-26 22:38:30 +08:00
    看不到图啊
        9
    binux   2014-10-26 22:40:54 +08:00
    @Shared 反正我就是单文件,加载的CDN,打不开找又拍云
    @shoumu 你用 https 了吗
        10
    shoumu   2014-10-26 22:42:49 +08:00
    @binux 直接点的你给的那个地址
        11
    shoumu   2014-10-26 22:43:30 +08:00   ♥ 1
    @binux
    控制台信息

    Failed to load resource: net::ERR_SSL_VERSION_OR_CIPHER_MISMATCH https://static.duoshuo.com/embed.unstable.js
    Uncaught ReferenceError: DUOSHUO is not defined haixiuzu.html:62
    douban
        12
    binux   2014-10-26 22:45:54 +08:00
    @shoumu 你浏览器的问题
        13
    shakoon   2014-10-26 22:47:02 +08:00
    不能翻页&说好的瀑布流呢?是因为采集数据还太少么
        14
    flyphy   2014-10-26 22:48:29 +08:00   ♥ 1
    试试撸女神
    http://lunvshen.com
        15
    binux   2014-10-26 22:58:03 +08:00
    @shakoon 是兼容性bug吧,chrome是没问题的
        16
    kmvan   2014-10-26 23:21:36 +08:00
    是啥语言采集的?
        17
    binux   2014-10-26 23:25:56 +08:00
        18
    gipsymoth   2014-10-27 09:18:42 +08:00
    这个好
        19
    muziyue   2014-10-27 09:51:33 +08:00
    有没有能判断性别的图像处理方案……
        20
    jacob   2014-10-27 17:24:55 +08:00
    害羞组是啥玩意,这些图看得我都害羞了- -
        21
    lubuwei   2014-10-27 18:21:22 +08:00
    呃,下班再打开看看......
        22
    shakespark   2014-10-29 08:50:05 +08:00
    为啥里面还有丁丁...
        23
    shakespark   2014-10-29 08:54:14 +08:00
    理解了...各种晒10分钟的图被lz抓取了啊哈哈哈
        24
    hydyy   2014-10-29 09:31:21 +08:00
    。。。
        25
    chilaoqi   2014-10-29 10:42:58 +08:00
    这么多丁丁 大丈夫?
        26
    binux   2014-10-29 10:47:11 +08:00
    @chilaoqi 别人要发,而且不是发我这,数据也不存我这。。我有什么办法。。
        27
    axe   2014-10-29 15:29:25 +08:00
    害羞组是用来约约约的吗。。
        28
    yangkeao   2014-10-29 17:34:45 +08:00
    我想知道多说做数据库是什么情况。。
        29
    binux   2014-10-29 18:46:42 +08:00
    @yangkeao 抓到一条数据之后,往多说上发一条评论,评论内容就是抓到数据。
    然后页面取最新评论就行了。
        30
    gkuchan   2014-10-29 19:17:27 +08:00
    …… 能不能把女人删掉 搞一个只有男人的版本……
        31
    Qulyf   2014-10-30 17:25:31 +08:00
    @gkuchan ←← 好像暴露了什么...
        32
    alsotang   2014-11-01 20:52:13 +08:00
    碉堡了
        33
    2232588429   2014-11-02 00:49:20 +08:00
    这个数据库是采到26号的?上限怎么定的?
        34
    binux   2014-11-02 00:55:21 +08:00
    @2232588429 我只采集了第一页,我是从26号开始采集的。
        35
    wh1100717   2014-11-20 22:33:20 +08:00   ♥ 1
    其实你这个还可以加以下功能:
    1. 定时check你抓下来的帖子是否删除,如果删除,则高亮显示(原因你懂的)
    2. 想办法用算法把广告过滤掉...
    3. 增加手动点击发豆油功能(原因你懂的)
    4. 增加几个组一起check好了==!

    我也写了个一个类似的东西...不过写完就觉得无趣懒得完善了,哈哈
        36
    binux   2014-11-20 22:39:28 +08:00
    @wh1100717 我就试试我的爬虫,一个晚上做的,我也懒得完善
        37
    mnhkahn   2015-02-25 08:50:41 +08:00
    大哥,你这个有些图多说那边没给你处理么?
        38
    binux   2015-02-25 17:57:21 +08:00 via Android
    @mnhkahn 处理什么
        39
    lukew   2016-01-15 14:03:34 +08:00
    @binux
    好项目 最近需要搭建一个爬虫系统 果断上手!
    想问下 这个项目还是活的吧?
        40
    binux   2016-01-15 18:25:15 +08:00
    @lukew 没死
        41
    lukew   2016-01-18 18:25:55 +08:00
    @binux 关于网站或者 app 的登录貌似文档中没有具体的描述
    能否加个微信?
        42
    lukew   2016-01-19 11:05:42 +08:00
    @binux 如果要抓去 app 客户端,纯 http 的 api 接口,需要 https 的支持,登录这些操作
    是否合适用 pyspider ?
        43
    binux   2016-01-19 19:23:38 +08:00
    @lukew 没有跨任务会话管理, 需要你手动管理 cookie 保持登陆.
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   1787 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.0 · 29ms · UTC 00:39 · PVG 08:39 · LAX 17:39 · JFK 20:39
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1