V2EX › decaywood 的所有回复 › 第 3 页 / 共 8 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8

❮

❯

2016-04-18 22:30:04 +08:00

回复了 cdwyd 创建的主题 › Python › 分享大量数据去重的方法，顺便问下 python 内存占用问题

如果要自己造轮子，一般解决方案是 hash 取余到多个文件，分别去重然后进行归并，这样就不存在内存耗尽问题了

2016-04-12 22:00:00 +08:00

回复了 decaywood 创建的主题 › 程序员 › 求一个队友维护一个 Java 爬虫项目

@yubeiluo 过奖了，湖南的？

2016-04-12 21:59:36 +08:00

回复了 decaywood 创建的主题 › 程序员 › 求一个队友维护一个 Java 爬虫项目

@helloworldwt 直接 star 或者 fork 就可以开始了：）

2016-04-12 14:53:00 +08:00

回复了 decaywood 创建的主题 › 程序员 › 求一个队友维护一个 Java 爬虫项目

@kenshinji 非常欢迎~
@libiao5320 bug 已修复，雪球访问协议改成 https 了

2016-04-12 11:54:49 +08:00

回复了 decaywood 创建的主题 › 程序员 › 求一个队友维护一个 Java 爬虫项目

@libiao5320 两种情况，一：你抓取太频繁，被限制了。二：雪球网 cookie 机制有变化，这个问题需要经常维护的，你看看是那个模块出的问题

2016-04-12 10:27:38 +08:00

回复了 decaywood 创建的主题 › 程序员 › 求一个队友维护一个 Java 爬虫项目

@zhtsuc 如果炒股的话，可以根据自己需要提供一些模块，以及修复一些可能的 bug ，虽然运行这么久鲜有 bug

2016-04-12 10:26:32 +08:00

回复了 decaywood 创建的主题 › 程序员 › 求一个队友维护一个 Java 爬虫项目

@gxz1989611 项目核心就是 Java8 的并行流，所以拓展性几乎没有限制

2016-04-11 22:52:53 +08:00

回复了 decaywood 创建的主题 › 程序员 › 求一个队友维护一个 Java 爬虫项目

@cs4814751 可以，按照约定开发即可

2016-04-11 22:52:29 +08:00

回复了 decaywood 创建的主题 › 程序员 › 求一个队友维护一个 Java 爬虫项目

@ob 基本上都可以抓，架构为开放式设计的

2016-03-16 23:02:27 +08:00

回复了 sujin190 创建的主题 › Python › tornado 连续踩了两次坑，看来想驾驭好它还不容易啊

数据库读写分离，或者数据库单独起个服务， tornado 进行异步请求

2016-03-14 21:23:04 +08:00

回复了 demo 创建的主题 › JavaScript › 刚刚写 JS 循环傻逼了，把 Chrome 玩死，内存吃满，只能关机重启

command + q

2016-03-07 11:33:11 +08:00

回复了 triThirty 创建的主题 › Python › tornado 菜鸟看源码关于 epoll 的问题

@triThirty 你这种需求异步也没意义，就像你饭馆就一个厨师，你揽那么多客有用吗？解决办法就是开多个 tornado 进程，用 nginx 进行反向代理

2016-03-07 10:23:32 +08:00

回复了 triThirty 创建的主题 › Python › tornado 菜鸟看源码关于 epoll 的问题

@triThirty 我觉得你首先要搞明白你业务逻辑是什么阻塞了程序执行，如果是计算耗时，那弄成异步有什么意义呢？异步的本质是提高单线程 CPU 效率，降低 IO 造成的性能瓶颈。如果你任然是用 http 调用别人接口，那跟我的 demo 没有本质区别啊。

2016-03-06 22:56:18 +08:00

回复了 triThirty 创建的主题 › Python › tornado 菜鸟看源码关于 epoll 的问题

https://github.com/decaywood/GithubSpray 这是我 tornado 异步爬虫的一个例子，简单易懂， clone 下来看吧官方文档我也翻译了一份 http://blog.decaywood.me/2016/01/14/tornado/

2016-02-28 18:58:38 +08:00

回复了 eightqueen 创建的主题 › 程序员 › 整理了一下 IO 多路复用的学习笔记

我也很奇怪，为什么大部分标榜异步通信的框架没采用真正的异步通信呢

2016-02-25 23:48:09 +08:00

回复了 imkh 创建的主题 › 程序员 › 有道云笔记这个限制真恶心

@wwulfric 那岂不是不能向前兼容了？以前要是有这些符号咋办？

2016-02-25 09:35:09 +08:00

回复了 pythonee 创建的主题 › 程序员 › 有什么好的 java 开源代码推荐，还是觉得看代码的进步快

入门肯定看 JUnit 啊

2016-02-24 19:20:34 +08:00

回复了 slert 创建的主题 › 酷工作 › [上海][漕河泾]寻一名会 java 和前端的开发者

@slert 最好还是写清楚，不然别人看到 10k 就点右上角了，错失很多人才，再说，现在应届都不止 10k 啊。。。

2016-02-24 18:11:54 +08:00

回复了 slert 创建的主题 › 酷工作 › [上海][漕河泾]寻一名会 java 和前端的开发者

抠

1 2 3 4 5 6 7 8

❮

❯