JackyTsang

请教,有无简单易用的 PostgreSQL 表结构、数据的同步工具?

  •  
  •   JackyTsang · May 15, 2024 · 4708 views
    This topic created in 914 days ago, the information mentioned may be changed or developed.
    可能我理解得比较简单,就是假设一个生产的 PostgreSQL 数据库的 A 、B 、C 库,都实时或 Cron 定时地同步到另外一个 PostgreSQL 数据库的 A 、B 、C 库。

    网上搜索都是都是啥大数据相关的内容,什么 ETL 、CDC 、ODS...看不懂,且感觉有些杀鸡用牛刀?还是说可能搜索的关键词不行?我主要的目的是提供给第三方写视图用的,烂视图对数据库性能的影响大家应该都知道,他们搞砸了都不会影响到生产库。

    因为涉及到增删改查,肯定有读写,也没法去做一个生产库的流复制从库给人家用。

    总结一下我要的功能可能是类似 Navicat 上的 “结构同步” 与 “数据同步”,然后它是简单的,命令行的,可自动化的。

    谢谢大家。
    18 replies  •  2024-05-16 15:59:58 +08:00
    FTLIKON
    FTLIKON
    May 15, 2024
    1
    自己写个脚本同步就可以了,你要用第三方工具难免很复杂
    tuutoo
    tuutoo
    May 15, 2024
    2
    试试 Airbyte?
    thtznet
    thtznet
    May 15, 2024
    3
    定时备份/还原
    littlezzll
    littlezzll
    May 15, 2024
    4
    pgquarrel ?
    qing108
    qing108
    May 15, 2024
    5
    自己写一个 python 脚本同步不就好了
    Ackvincent
    Ackvincent
    May 15, 2024
    6
    python 用 psycopg2 写个脚本就可以了,没多大工作量。
    tomczhen
    tomczhen
    May 15, 2024
    7
    fdw
    nolo
    nolo
    May 15, 2024
    8
    外部表或者逻辑复制
    privil
    privil
    May 15, 2024
    9
    dbswitch 试试,我上周刚测试同步空库没啥问题,实际数据量大了不知道
    54yzwddsg
    54yzwddsg
    May 15, 2024
    10
    主从模式?
    srlp
    srlp
    May 16, 2024 via iPhone
    11
    datax 阿里的,好用
    fangxing204
    fangxing204
    May 16, 2024 via Android
    12
    pgsync
    dayeye2006199
    dayeye2006199
    May 16, 2024 via Android
    13
    Airbyte
    ABBOTBREW
    ABBOTBREW
    May 16, 2024
    14
    HeidiSQL
    encro
    encro
    May 16, 2024
    15
    PostgreSQL 自带 fwd 能满足您要求?
    sujin190
    sujin190
    May 16, 2024
    16
    只同步数据的话那分享下项目

    https://github.com/snower/syncany-sql

    把 SQL 当作脚本执行,内部有自动依据主键增删改同步数据的逻辑,可以用 crontab 来调用

    set @use_output_type='UPDATE_DELETE_INSERT';
    insert into `pg2`.`adata` select `id`, `name`, `create_time` from `pg1`.`bdata` where `id`>=2;

    使用 set @use_output_type 设定更新目标库方式,可选值有 INSERT 、UPDATE_DELETE_INSERT 、UPDATE_INSERT 、DELETE_INSERT ,不设置时和正常 insert into 一样默认 INSERT ,select 的第一个字段自动认为是主键,相同主键执行 update ,否则插入
    yjhatfdu2
    yjhatfdu2
    May 16, 2024
    17
    数据的话,用数据库原生的 publish 、subscribe 是最简单最优的,但是不能自动同步 DDL ,发生 DDL 后需要先在从库中更新 DDL 再继续订阅
    guxin0123
    guxin0123
    May 16, 2024
    18
    Navicat 自动运行 试过了没
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   989 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 54ms · UTC 18:25 · PVG 02:25 · LAX 10:25 · JFK 13:25
    ♥ Do have faith in what you're doing.