V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
sxinsuoyu20
V2EX  ›  MySQL

mysql 数据增量同步

  •  
  •   sxinsuoyu20 · 19 天前 · 2369 次点击
    一个内网服务器,一个外网服务器(数据定时采集服务器),现在想把外网服务器的增量数据同步到内网服务器(初始数据和表结构可以导成 sql 到目标库执行),表结构完全相同,可以有一定的延迟,各位 V 友们有什么好的方案和工具吗?原先没研究过,最好有具体的实现方案帖子、视频、或者开源项目,一站式部署,学习成本比较低,免费拿来就可以用最好了!
    23 条回复    2024-12-07 07:46:42 +08:00
    chen15798
        2
    chen15798  
       19 天前
    seatunnel
    iyiluo
        3
    iyiluo  
       19 天前
    直接弄个主从,如何开启 mysql 主从,网上一大堆
    Marelbruim
        4
    Marelbruim  
       19 天前
    用 datax 一个脚本的事
    junphe
        5
    junphe  
       19 天前
    楼上都有提到对实时有要求 Mysql 主从就可以了
    sxinsuoyu20
        6
    sxinsuoyu20  
    OP
       19 天前
    @fool1024 @Marelbruim 你好,我查了一下感觉也有点懵啊,canal 和 datax 哪个更容易搭建,有什么区别吗?是开源免费的吗? java 环境可以吗?
    sxinsuoyu20
        7
    sxinsuoyu20  
    OP
       19 天前
    @iyiluo @junphe 你好,主从就可以实时复制数据了吗?服务器需要开放 3306 端口吗?可以双主吗?一方数据有变动其他的也会自动同步
    Marelbruim
        8
    Marelbruim  
       19 天前
    hetal
        9
    hetal  
       19 天前
    percona toolkit
    realpg
        10
    realpg  
       19 天前
    innodb cluster
    但是坑不少 你得踩踩
    Actrace
        11
    Actrace  
       19 天前
    @sxinsuoyu20 双主,或者多主,可以用用 MariaDB 的 Galera 。限制是只能 innoDB 引擎。
    junphe
        12
    junphe  
       19 天前
    @sxinsuoyu20 主从是实时增量,数据结构都可以同步的,从库必须可以链接到主服务,最好给单独开启账号配置服务,你可以在网上搜索相关的资料比较多,只要是数据的配置就可以了
    XyIsMy
        13
    XyIsMy  
       19 天前
    同个类型数据库,搭建主从或双主就可以了
    bootvue
        14
    bootvue  
       19 天前
    cloudcanal
    Karte
        15
    Karte  
       19 天前
    @junphe 方案是可以, 但是主从会存在对主库操作延迟. 再加上网络问题等, 可能会影响到主库的正常处理. 建议还是使用类似 CDC 的实现 (Flink, 部署麻烦), DataX.
    kios
        16
    kios  
       19 天前
    canal 或者 flink-cdc
    junphe
        17
    junphe  
       19 天前
    @Karte 主从实际是对主 Mysql 的 Binlog 读取和传输,受服务器 IO 和网络影响!但是对主库操作延迟,未仔细研究,我觉得应该影响不大。之前有同步过 aliyun 的 mysql 到本地机房,运行良好。如本地断网,等网通后会自动同步,做好延迟监控!
    miniliuke
        18
    miniliuke  
       19 天前
    debezium+kafaka 或者 flink cdc
    qW7bo2FbzbC0
        19
    qW7bo2FbzbC0  
       18 天前
    @fool1024

    请问这两个在数据同步上区别是什么?(看起来 dataX 抽象程度更高,在 MySQL 同步上 dataX 是依赖于 canal 或者内置了 canal 还是自己重新实现了同样的逻辑?)
    仅针对于 mysql 数据增量同步这两个更推荐哪个?
    ccloving
        20
    ccloving  
       18 天前
    @sxinsuoyu20 可以双主,我有具体的代码,你加我,我发给你
    npe
        21
    npe  
       18 天前
    DMS
    sxinsuoyu20
        22
    sxinsuoyu20  
    OP
       18 天前
    @ccloving 你好,请问你的具体怎么实现的啊,有下载地址吗?怎么添加好友?
    lqw3030
        23
    lqw3030  
       18 天前   ❤️ 1
    @qW7bo2FbzbC0
    ## 同步事件驱动源
    dataX:一般由指令触发
    canal:由 binlog 订阅事件驱动

    ## 同步边界
    dataX:需要在作业中定义
    canal:由 binlog 控制同步边界

    所以我理解初次迁移适合用 dataX ,迁移后如果需要持续增量同步则用 canal
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5329 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 07:53 · PVG 15:53 · LAX 23:53 · JFK 02:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.