有哪些工具可以比较可靠地把一个本地目录里的所有内容镜像到一个 S3 Bucket？

bucket

镜像

可靠

37 条回复 • 2018-10-24 09:56:04 +08:00

1

sNullp

2018-10-23 09:13:45 +08:00

楼主是要一次性上传还是要支持增量更新？

2

isCyan

2018-10-23 09:14:32 +08:00 via Android

minio client
github.com/minio/mc
有 mirror 命令，我用起来还可以

3

plqws

2018-10-23 09:15:04 +08:00

用 s3 sdk 写个这种功能的同步工具应该不难

4

Em5O7B1JGfjQnBry

2018-10-23 09:15:19 +08:00 via Android

S3-fuse

5

Livid

MOD

OP

2018-10-23 09:23:40 +08:00

@sNullp 能够靠谱地一次性传上去就好。

6

fireapp

2018-10-23 09:26:35 +08:00 via iPhone

1

s3fs，把 s3 bucket 挂载成本地磁盘，然后 mv

7

Livid

MOD

OP

2018-10-23 09:28:44 +08:00

@fireapp 理论上这样是不是也可以用 rsync 了？

8

caizixian

2018-10-23 09:31:22 +08:00

1

`aws s3 sync`?

9

Xrong

2018-10-23 09:32:56 +08:00

https://aws.amazon.com/cli/ 用官方的 cli 就行了

10

mangoDB

2018-10-23 09:33:53 +08:00

官网应该有对应的 s3fs 吧，我猜测的。

11

imnpc

2018-10-23 09:35:51 +08:00

@Livid 挂载以后可以 rsync 但是读写次数会很高以前挂载阿里云的 OSS 一晚上就同步备份网站和数据库就几十万次读写

12

fireapp

2018-10-23 09:37:16 +08:00 via iPhone

1

@Livid 透明的，跟本地盘一样

13

Vieufoux

2018-10-23 09:38:47 +08:00

用 aws s3 cp 命令
https://docs.aws.amazon.com/cli/latest/reference/s3/

14

kslr

2018-10-23 09:50:40 +08:00 via Android

Rclone

15

kslr

2018-10-23 09:51:48 +08:00 via Android

我每天都要同步几百 g 的数据

16

ayang23

2018-10-23 09:51:56 +08:00

https://rclone.org/

17

orzjerry

2018-10-23 09:58:20 +08:00

s3fs 可以 mount 到本地当作本地磁盘，rsync 也是可以的但是磁盘性能真的是不好。

18

lynnX

2018-10-23 10:02:14 +08:00

GoodSync 一直在用很方便

19

xw

2018-10-23 10:11:48 +08:00

s3cmd

20

Les1ie

2018-10-23 10:21:43 +08:00

1

让我们猜一猜是不是昨天的 504 让站长意识到了需要异地容灾 :)

22

iConnect

2018-10-23 10:37:51 +08:00

比较好奇 v 站怎么一攻击就死的硬硬的，没有一点复活能力（除了等站长起床）

23

iConnect

2018-10-23 10:38:04 +08:00

@Les1ie

24

kios

2018-10-23 10:42:44 +08:00

Mountain Duck

25

sunnyadamm

2018-10-23 11:09:12 +08:00

@Les1ie 周天 504，不是昨天

26

zhaogaz

2018-10-23 11:17:15 +08:00

群晖就有这功能。我觉得挺好的

27

ReVanTis

2018-10-23 11:32:32 +08:00

注意一点，s3 并不是文件系统而是面向对象的存储。
试图从文件系统直接进行同步可能不能保留所有的文件信息，包括权限、修改日期等。

28

likuku

2018-10-23 14:20:14 +08:00

记得 aws 自家的 cli 工具包里就有 rsync 工具可以直接推到 S3

29

likuku

2018-10-23 14:24:56 +08:00

#28 找到了：

"管理对象
高级别 aws s3 命令还可以方便地管理 Amazon S3 对象。这些对象命令包括 aws s3 cp、aws s3 ls、aws s3 mv、aws s3 rm 和 sync。cp、ls、mv 和 rm 命令的用法与它们在 Unix 中的对应命令相同，使您可以跨本地目录和 Amazon S3 存储桶无缝工作。sync 命令同步一个存储桶与一个目录或两个存储桶中的内容。"

from:
通过 AWS Command Line Interface 使用高级别 s3 命令 - AWS Command Line Interface : https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/using-s3-commands.html

sync — AWS CLI 1.16.39 Command Reference : https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html