V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Fing
V2EX  ›  Python

开源一个 google 爬虫项目

  •  
  •   Fing · 2017-08-29 19:04:01 +08:00 · 5713 次点击
    这是一个创建于 2677 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这个项目写了一段时间了,主要功能就是实时爬取 googlesearch 的结果。google 反爬很严格,我这边也没有很好的办法,后面可能也不太搞了,就整理了开源出去,希望能给其他人一些思路。 github: https://github.com/FastSchnell/googlebridge

    目前只支持 python2.7,有兴趣的可以试一下 下载 wget http://googlebridge.com/googlebridge.py 运行 python googlebridge.py

    第 1 条附言  ·  2017-08-29 23:51:15 +08:00
    忘记说了,要在墙外主机跑。
    第 2 条附言  ·  2017-08-30 08:03:41 +08:00
    这个服务跑起来以后就是一个网站,访问 vps 公网 IP 即可
    第 3 条附言  ·  2017-08-30 10:10:53 +08:00
    默认使用 tcp80 端口
    10 条回复    2017-08-30 09:49:25 +08:00
    mingyun
        1
    mingyun  
       2017-08-29 23:08:38 +08:00
    支持 py3 啊
    Fing
        2
    Fing  
    OP
       2017-08-29 23:51:35 +08:00
    @mingyun 没测过欸~
    mckelvin
        3
    mckelvin  
       2017-08-30 00:03:18 +08:00   ❤️ 1
    楼主代码写得挺认真的,建议了解下 requests, urlparse, pyquery 或 BeautifulSoup, jinja2 这几个库,能剩不少代码。
    viosey
        4
    viosey  
       2017-08-30 00:08:52 +08:00
    有办法爬 Google image 吗?
    gaotongfei
        5
    gaotongfei  
       2017-08-30 00:11:55 +08:00 via iPhone
    @mckelvin jinja 在爬虫中有什么应用?
    mckelvin
        6
    mckelvin  
       2017-08-30 07:58:15 +08:00 via iPhone
    @gaotongfei 我也好奇呢。但楼主代码里有 html 模版。
    Fing
        7
    Fing  
    OP
       2017-08-30 08:05:18 +08:00 via iPhone
    @mckelvin 不用三方库为了简化部署。 里面有 html 模版是因为脚本跑起来就是一个网站。
    xiaozizayang
        8
    xiaozizayang  
       2017-08-30 08:25:06 +08:00 via Android
    关键是对谷歌反爬机制的研究 我也写过一个 轮循谷歌全球域名 有点效果 https://github.com/howie6879/MagicGoogle
    jisibencom
        9
    jisibencom  
       2017-08-30 09:29:16 +08:00
    难道用反代不是更方便些不?
    Fing
        10
    Fing  
    OP
       2017-08-30 09:49:25 +08:00 via iPhone
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2042 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 00:43 · PVG 08:43 · LAX 16:43 · JFK 19:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.