V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ling516
V2EX  ›  前端开发

Python 如何获取网页下滑分类的所有链接地址

  •  
  •   ling516 · 2022-01-22 21:54:49 +08:00 · 1113 次点击
    这是一个创建于 1069 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://opensea.io/0x88f9782286b8fe9c03a7e3ddae3a006826fc1ac8?search[sortBy]=LAST_TRANSFER_DATE&search[resultModel]=ASSETS&search[query]=ccc 这个网站 想要根据关键词搜索到所有图片链接 但是这个是下拉模式 下拉才会显示后面的图片 每次页面只显示 27 个链接 实际搜索出来有 100 多个 如何获取搜索结果的所有链接

    3 条回复    2022-01-27 17:29:47 +08:00
    christopheredwar
        1
    christopheredwar  
       2022-01-22 23:08:01 +08:00
    我看刑
    Telegram
        2
    Telegram  
       2022-01-23 12:49:41 +08:00
    @christopheredwar #1 国外的,不刑。

    F12 ,往下拉,看请求。
    VagabondH
        3
    VagabondH  
       2022-01-27 17:29:47 +08:00
    1. 用 selenium 库,启一个无头浏览器;
    2. 判断滚动条是否可往下滚动,可以往下滚动的时候利用脚本改变滚动条高度触发加载;
    3. 不能往下滚动隔一段时间间隔之后,断言为搜索完成,返回所有链接。

    或者也可以直接伪造请求头,直接请求列表接口拿数据拼出来链接
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5448 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 08:38 · PVG 16:38 · LAX 00:38 · JFK 03:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.