V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
hansnow
V2EX  ›  问与答

搜狗微信反爬虫又升级啦

  •  
  •   hansnow · 2016-07-13 11:02:05 +08:00 · 6301 次点击
    这是一个创建于 3091 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各位在爬搜狗微信数据的童鞋,你们的爬虫还正常吗?

    第 1 条附言  ·  2016-07-13 11:51:30 +08:00
    荣耀属于二楼
    15 条回复    2016-09-02 19:19:11 +08:00
    simapple
        1
    simapple  
       2016-07-13 11:24:53 +08:00
    从来就没正常过,直接调取浏览器 频率稍快一点 就出验证码,交流一下 你是用什么方式
    defia
        2
    defia  
       2016-07-13 11:25:55 +08:00   ❤️ 1
    hint:referer
    hansnow
        3
    hansnow  
    OP
       2016-07-13 11:26:05 +08:00
    @simapple 我之前就用最普通的方式, requests 的 session 加上 ua ,然后直接请求就可以。。因为我量比较小,所以之前完全没遇到障碍。。
    imnoname
        4
    imnoname  
       2016-07-13 11:33:29 +08:00
    有偿提供封装微信 app 公众号搜索数据的接口,有需要的吗?
    ytmsdy
        5
    ytmsdy  
       2016-07-13 11:40:59 +08:00
    @defia 哈哈哈哈哈哈。。。
    defia
        6
    defia  
       2016-07-13 11:44:55 +08:00
    @ytmsdy 咋..
    ibugeek
        7
    ibugeek  
       2016-07-13 11:45:37 +08:00
    基本上已经放弃了微信公众号的阅读了,阅读体验非常的不好,还不如去读书呢
    pyufftj
        8
    pyufftj  
       2016-07-13 12:17:19 +08:00
    stcasshern
        9
    stcasshern  
       2016-07-13 12:20:46 +08:00
    求解释~
    gonewithsin
        10
    gonewithsin  
       2016-07-15 12:21:20 +08:00
    @defia 爬虫获取的网址是正确的,但是因为 referer 的关系,没法从第三方的网站中直接打开这个网址(会报错),请教下这种情况有什么办法?无法通过修改浏览器来伪造 referer ,因为是要在微信内嵌浏览器中打开这个网址。
    defia
        11
    defia  
       2016-07-15 15:26:14 +08:00
    @gonewithsin 自己把里面文章爬出来重新生成列表,不过现在好像是拿不到永久连接,会过期了
    hansnow
        12
    hansnow  
    OP
       2016-07-15 15:35:23 +08:00
    @defia 在页面里的 msg_link 这个变量里保存的链接貌似不会过期,比如这种: http://mp.weixin.qq.com/s?__biz=MzA3NjI3MjgwNQ==&mid=2650452902&idx=2&sn=ea8d1fc3b7aba257d4ad3250197bebfd#rd
    defia
        13
    defia  
       2016-07-16 00:20:34 +08:00
    @hansnow 因为我是帮朋友抓的,自己不太关注这方面除非出问题了.我看了下,我代码里也是抓这个的,但是我朋友反映好像会过期,具体就不清楚了,回头有空找他问问
    sicklife
        14
    sicklife  
       2016-07-29 15:26:05 +08:00
    我可能是少数在做微信全站爬虫的人之一。。。。
    neomaidasi
        15
    neomaidasi  
       2016-09-02 19:19:11 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2617 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 10:54 · PVG 18:54 · LAX 02:54 · JFK 05:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.