V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
l32606
V2EX  ›  问与答

如何实现对指定 URL 的页面自动分类,求思路

  •  
  •   l32606 · 2019-04-01 23:39:16 +08:00 · 1332 次点击
    这是一个创建于 2100 天前的主题,其中的信息可能已经有所发展或是发生改变。

    基本想法是先爬下来,然后通过分析网页关键字进行分类。爬虫那块还好说,基于关键字分类不知道怎么搞。

    有没有这方面的思路或者参考?

    1 条回复    2019-04-02 03:17:19 +08:00
    txy3000
        1
    txy3000  
       2019-04-02 03:17:19 +08:00 via Android
    分类是定义好的吗 ? 关键字的映射分类是怎样的关系 一对一 多对一 还是带权重? URL 分类是流式处理 还是集中处理 数据量有多大? 都是问题啊
    类定义 映射关系都约定好的可以直接参考路由的 URL dispatcher 原理 如果分类没定义好那得上类似 kNN 聚类算法 自己造特征向量 找特征向量 关键字的权重估计还得深度学习 自己做标记来训练 数据量大的话还得上分布式计算 反正不是轻松的活
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1037 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 22:13 · PVG 06:13 · LAX 14:13 · JFK 17:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.