这种 olap 的场景为什么不用 vertica 之类的 mpp ？

年初 20 一个买的 LTC，80 就给卖了，现在一看 2000 多了，只剩拍大腿了。炒币容易把人心态炒失衡了。

出口 IP 应该爬过美团，被封了

@est 生产环境 postgres + vertica + s3 + kafka 一套看上去很简单的组件, 但是干啥都是美滋滋

不了解 postgres 的人可以看看这个博客 https://github.com/digoal/blog， 你就会对 postgres 有相见恨晚的感觉了

@gouchaoer 不用微博，马化腾 MjQ0MTkzMjkw

只招对公的租，比如各种品牌公寓，自如合租之类的

爬的买的代理 IP 都是垃圾，ADSL 才是王道

日常 30%时间写爬虫的路过。
想知道楼主破解过 APP 吗，写过分布式 Xposed hook 手机集群吗？自定义过爬虫专用的 android rom 吗？搭过代理集群吗？搞定过多少验证码？
其实我想说 sql 写的溜一般是爬虫工程师的基本素养。

天天给你打电话卖保险

玩过，小赚

几百万级表自己 join 一下没什么压力吧，提前再过滤下频率为 1 的联系人，应该没多少数据了

假设表 contacts 结构：
user_id 用户 ID,
phone 联系人电话



with (
select user_id
, phone
, count(distinct user_id) over (partition by phone) as total_distinct_user
from contacts
) as t

select a_user_id, b_user_id, count(*) over (partition by a_user_id, b_user_id)
from
(
select a.user_id as a_user_id, b.user_id as b_user_id, phone
from t as a,
t as b
where a.phone = b.phone
and a.user_id > b.user_id
and a.total_distinct_user > 1
);

上边计算可以算出不同的用户相同联系人数量，因为 mysql 没有 window function，上述过程在 mysql 里可以多分几步计算模拟下

能，不过具体效果取决于这一列的数据分布的离散情况，以及和数据主键的的分布的相关性。如果 222 的数据在 1 亿数据里分布很广，IO 依然很多

@saximi 建议分开，如果因为某些原因必须同时持有同一个 connection 对象的话，用 spider 对象持有，pipeline 和 middleware 都已访问到，pipelines 和 middleware 中的方法不会冲突的

写库过程写到 pipeline 里, pipeline 实现 close_spider 方法

pipeline 实现 close_spider 方法