V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
mistak1992
V2EX  ›  Python

Selenium 3.0.1 的 HTTP basic auth 问题

  •  1
     
  •   mistak1992 · 2016-10-29 12:06:10 +08:00 · 4997 次点击
    这是一个创建于 2980 天前的主题,其中的信息可能已经有所发展或是发生改变。

    手里有一台 TP-WR740N ,不时会过热死机,所以想定时重启一下,在 NAS 上虚拟机 centos7 搭了 Python 3.5.2 ,配合 selenium 2.53 和 Firefox 45.04 (还有 Xvfb)实现重启,代码如下:

    #!/usr/bin/env python  
    from pyvirtualdisplay import Display
    from selenium import webdriver
    from selenium.webdriver.common.keys import Keys
    display = Display(visible=0, size=(1024, 768))
    display.start()
    driver = webdriver.Firefox()
    driver.get("http://admin:[email protected]")
    driver.implicitly_wait(2)
    driver.switch_to.frame("bottomLeftFrame")
    driver.implicitly_wait(2)
    driver.find_element_by_id("a38").click()
    driver.implicitly_wait(1)
    driver.find_element_by_id("a44").click()
    driver.switch_to.parent_frame()
    driver.switch_to.frame("mainFrame")
    driver.find_element_by_id("reboot").click()
    driver.switch_to.alert.accept()
    driver.close()
    

    然后,前几天我把 NAS 换成 centos7 系统,配上 Python 3.5.2 selenium 3.0.1(pip 上好像前几天更新的) 和 Firefox 45.04 (还有 Xvfb),代码还是上面的代码,结果就出现问题了:
    1.[已解决]需要 Geckodriver 的路径。我去 github 下载后,解压放到 /usr/bin/
    2.应该是 HTTP basic auth 的问题,执行

    driver.get("http://admin:[email protected]")
    

    没有内容返回, driver.title 是空的,而且也没有任何错误提示,如果把地址换成百度之类的不需要 HTTP basic auth 就能获取到内容。然后我这个初学者就不造怎么办了,所以就来求助一下大家~

    第 1 条附言  ·  2016-10-30 12:04:32 +08:00

    这个问题涉及到Firefox的profile的问题,小菜鸡才疏学浅弄了半天才弄明白,HTTP basic auth需要加上关键参数

    network.http.phishy-userpass-length = 255
    

    解决方法: 在上面的代码中作出修改,创建firefox对象前加上profile设定,并向Firefox()加入参数

    profile = webdriver.FirefoxProfile() #创建firefox profile对象
    profile.set_preference("network.http.phishy-userpass-length", 255) #设定profile参数
    driver = webdriver.Firefox(profile)
    

    然后,Selenium 3.0.1中遇到HTTP basic auth 问题应该可以参照这个方法解决

    参考链接:
    http://docs.seleniumhq.org/docs/03_webdriver.jsp#firefox-driver
    http://blog.wedoqa.com/2013/09/basic-http-authentication-and-webdriver/
    http://stackoverflow.com/questions/28181102/in-selenium-python-webdriver-im-not-able-to-download-a-text-file-with-a-lst-e

    第 2 条附言  ·  2016-11-07 22:07:46 +08:00

    So @bdbai 大神说得对,还有更简单的实现方法~用requests(好像要用pip安装来着)
    http的header需要设置referer和UA
    直接上代码:

    #!/usr/bin/python
    import requests
    s = requests.Session()
    s.auth = ("admin", "admin")#管理界面用户名密码
    s.headers.update({"referer":"http://192.168.1.1","User-agent":"Mozilla/5.0 (Windows; U; Windows NT 6.1; rv:2.2) Gecko/20110201"})#设置referer和UA
    r = s.get("http://admin:[email protected]/userRpm/SysRebootRpm.htm?Reboot=%D6%D8%C6%F4%C2%B7%D3%C9%C6%F7")
    
    21 条回复    2016-10-30 13:01:17 +08:00
    dsg001
        1
    dsg001  
       2016-10-29 12:41:12 +08:00
    自己的系统,又不用反爬虫,直接上 requests 好了
    CosimoZi
        2
    CosimoZi  
       2016-10-29 13:00:38 +08:00
    implicit_wait 不是这样用的吧?
    仔细看一下源代码或文档,要达到 wait 的效果,应该用 webdriverwait
    mistak1992
        3
    mistak1992  
    OP
       2016-10-29 13:09:36 +08:00
    @dsg001 嗯嗯~好的,我研究一下 requests
    mistak1992
        4
    mistak1992  
    OP
       2016-10-29 13:12:03 +08:00
    @CosimoZi 哟西~不过在 selenium 2.53 上是有这个效果的,我看看 webdriverwait 去~射射
    bdbai
        5
    bdbai  
       2016-10-29 13:51:32 +08:00 via Android
    这样开销太大了,抓个包直接发请求呗。
    mistak1992
        6
    mistak1992  
    OP
       2016-10-29 13:59:01 +08:00
    @bdbai 嗯嗯,是啊~初学感觉这个是最简单的实现了~囧~ 抓包发请求是怎么弄呀?用啥工具抓包咧?能不能给个关键字我去搜搜看
    mistak1992
        7
    mistak1992  
    OP
       2016-10-29 14:02:58 +08:00
    @CosimoZi 我试了试 webdriverwait ,仍然是 get 不到任何内容,感觉不像是这个问题,会不会是 geckodriver 的问题咧,因为 selenium3.0.1 才用到 geckodriver ,额~有点混乱了我
    bdbai
        8
    bdbai  
       2016-10-29 14:06:24 +08:00 via Android
    @mistak1992 以 Chrome 为例,先打开浏览器的开发者选项,然后登进路由器管理页面,按下 F12 底下会弹出开发者工具,切到 Network 页。这时候点击“重启路由器”就会看到有请求发出来,琢磨琢磨请求主体,丢给 Python 跑。
    大概是这样的。
    mistak1992
        9
    mistak1992  
    OP
       2016-10-29 14:16:52 +08:00   ❤️ 1
    @bdbai 三克油~找到了~跟之前在歪果仁博客上看到的一样
    ```
    http://192.168.1.2/userRpm/SysRebootRpm.htm?Reboot=%D6%D8%C6%F4%C2%B7%D3%C9%C6%F7
    ```
    不过情况跟之前差不多~囧~You have no authority to access this device!
    前面加上 admin:admin@也好像不太行,估计要 google 一下了
    忽然发现回复要扣小铜板的,不知道哪天我这个小菜鸡会穷的没法回复了~囧~
    rale
        10
    rale  
       2016-10-29 14:21:10 +08:00
    你这样确实太浪费资源了,如楼上所说,这个直接用 curl 拼一个请求放到 crontab 里就可以了
    对于你这个问题, webdriver 初始化( driver = webdriver.Firefox())的时候可以设置 log 位置,可以看到你的 dirver 的每一步操作。
    bdbai
        11
    bdbai  
       2016-10-29 14:21:51 +08:00 via Android   ❤️ 1
    @mistak1992 你得把登录验证信息放进请求里面,不知道是普通 HTTP auth 还是 Cookie ,具体情况具体分析吧。
    可以加我 QQ MzQ3MDk5OTIw ( Base64 编码)

    铜币给你送回去了。
    mistak1992
        12
    mistak1992  
    OP
       2016-10-29 18:13:17 +08:00 via Android
    @bdbai 谢谢,我先研究下~唉呀😂😂😂大神呀,别介啊,小菜鸡初来乍到不懂规矩~
    mistak1992
        13
    mistak1992  
    OP
       2016-10-29 18:40:27 +08:00 via Android
    @rale 嗯嗯,谢谢,原来可以出 log 的😳这样就能知道哪儿出错了😳😳😳
    sodatea
        14
    sodatea  
       2016-10-29 18:56:52 +08:00
    直接在 URL 里加 authority 信息其实是不符合 HTTP 标准的……并不是所有客户端都能支持这么搞……前几天刚被坑到过
    mistak1992
        15
    mistak1992  
    OP
       2016-10-29 19:14:36 +08:00 via Android
    @sodatea 这样的嘛😳那应该怎么样弄的呢?关键是 selenium 2.53 是正常的😳然后 selenium 3.0.1 才出现问题,我已经排除了很多情况了,只是 selenium 3.0.1 才刚出, api 文档还找不到呢,所以有点束手无策
    SlipStupig
        16
    SlipStupig  
       2016-10-29 21:03:43 +08:00
    @mistak1992 2.53 正常不用,为什么一定要用 3.01 ?
    mistak1992
        17
    mistak1992  
    OP
       2016-10-29 21:08:18 +08:00
    @SlipStupig 说来惭愧,主要是 pip 上装的都是最新版,前几天重新装 NAS 系统的时候发现 pip 装的是最新版,然后又不知道怎么装 2.53 ,所以_(:з」∠)_ 阴差阳错,最后实在好奇想弄明白到底是啥原因~~~so
    SlipStupig
        18
    SlipStupig  
       2016-10-29 21:11:35 +08:00
    @mistak1992 pip install selenium==2.53
    mistak1992
        19
    mistak1992  
    OP
       2016-10-29 21:17:48 +08:00
    @SlipStupig 司国义!!!原来是这样,谢谢~不过我已经给自己挖了个坑,我要继续研究下去才行_(:з」∠)_
    mistak1992
        20
    mistak1992  
    OP
       2016-10-30 12:13:03 +08:00
    @SlipStupig @sodatea @rale @CosimoZi @dsg001 谢谢大家回复~谢谢大神 @bdbai 耐心的解答~
    这个帖子发出去是不是没法重新编辑,只能 APPEND ?_(:з」∠)_
    bdbai
        21
    bdbai  
       2016-10-30 13:01:17 +08:00
    @mistak1992 已经超过编辑时间了,好像是五分钟吧。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1106 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 18:54 · PVG 02:54 · LAX 10:54 · JFK 13:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.