specter119 最近的时间轴更新 specter119 最近的时间轴更新 |
specter119V2EX 第 98404 号会员，加入于 2015-02-17 19:48:48 +08:00 |
specter119 最近回复了
2022-10-31 16:57:31 +08:00 回复了 mmm159357456 创建的主题 › Python › Python 的多层嵌套循环如何优化？ |
是在一个很大的时间尺度上做滑窗吗？每个滑窗还要跨文件 IO ，机器还没法一下全读了？
个人经验即使是分布式的 spark 上，优化的空间并不大。而且 spark 上滑窗的计算也很慢，不知道新一点的 dask ，ray 这方便会比 spark 强多少。
个人经验即使是分布式的 spark 上，优化的空间并不大。而且 spark 上滑窗的计算也很慢，不知道新一点的 dask ，ray 这方便会比 spark 强多少。
Select Language