如何更高效的下载百万张图片

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2306 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题~

高效

下载

图片

题

6 条回复 • 2018-09-08 21:00:23 +08:00

May725

2018-09-07 22:50:41 +08:00

压缩，分割，多请求？
给的描述信息太少了

qwertyegg

2018-09-08 05:41:47 +08:00

我的一个笨办法

#!/bin/bash
grab(){
for ((i=$1+1; i<= $1+1000; i++))
do
wget img_url -O ./img/$i.png
done
}

grab_task(){
grab $1 &
grab $1+1000 &
grab $1+2000 &
grab $1+3000 &
grab $1+4000 &
grab $1+5000 &
grab $1+6000 &
grab $1+7000 &
grab $1+8000 &
grab $1+9000
}

grab_task_level3(){
grab_task $1 &
grab_task $1+10000 &
grab_task $1+20000 &
grab_task $1+30000 &
grab_task $1+40000 &
grab_task $1+50000 &
grab_task $1+60000 &
grab_task $1+70000 &
grab_task $1+80000 &
grab_task $1+90000
}

grab_task_level3 100000 &
grab_task_level3 200000 &
grab_task_level3 300000

delectate

2018-09-08 06:31:47 +08:00

生成列表，交给 aria2 即可。

XxxxD

2018-09-08 15:18:54 +08:00

额，我说一个偏的，获取图片 url 链接，然后 subprocess call IDM 成队列下载，比 requests, with open, write 快，wget 试了下，window 下报错，无解……

sola97

2018-09-08 16:07:12 +08:00 via Android

交给 aria2

lihongjie0209

2018-09-08 21:00:23 +08:00

先换一个固态硬盘, 我怕你硬盘是瓶颈