DaeDaluS
V2EX  ›  数据库

微服务大量数据的跨库(跨微服务)表关联查询有没有实用的解决方案

  •  
  •   DaeDaluS · Nov 25, 2018 · 10903 views
    This topic created in 2915 days ago, the information mentioned may be changed or developed.

    多个微服务都有独立的 DB 作为数据存储, 现在个别微服务需要查询展示的数据为多个微服务的汇总数据; 也就是需要跨微服务跨库的联表查询; 我知道这样设计是有问题的, 但是现实的业务已经有这种问题需要去解决了。 尽量不干扰数据写入, 只考虑数据读取过程就可以,如果实在没办法,需要干扰数据写入过程的也可以

    不知道各位大佬有没有什么好的解决方案, 或者想法的?

    13 replies  •  2018-11-26 13:25:13 +08:00
    zollum
    zollum
    Nov 25, 2018
    1
    定时任务吧,将汇总数据处理好存表。
    DaeDaluS
    DaeDaluS
    OP
    Nov 25, 2018 via iPhone
    2
    @iamaprin 现在做的类似于云平台,比如查一个用户最近三个月的订单,分别在用户系统和订单系统两个服务模块里;这样的数据没办法做预先的统计。
    最好的是能实时高效的查询那种
    anyele
    anyele
    Nov 25, 2018 via Android
    3
    还是只有不同微服务提供接口查
    HuHui
    HuHui
    Nov 25, 2018 via Android
    4
    redis
    jimages
    jimages
    Nov 25, 2018
    5
    再写一个微服务,去调用这两个微服务,做联表查询,并且做成定时任务。
    megachweng
    megachweng
    Nov 25, 2018 via iPhone
    6
    我的想法是再起个 Quartz 服务,定时调一下基础服务的接口,缓存一段时间
    ghos
    ghos
    Nov 26, 2018
    7
    存的时候多存一份统计数据
    DaeDaluS
    DaeDaluS
    OP
    Nov 26, 2018 via iPhone
    8
    @HuHui 具体怎么个思路呢?要把所有其他库的表都缓存起来?
    DaeDaluS
    DaeDaluS
    OP
    Nov 26, 2018 via iPhone
    9
    @jimages 这个当前微服务想要做的就是这个;但是代码处理麻烦,还可能处理不了,所以才想找一个有效的方案
    DaeDaluS
    DaeDaluS
    OP
    Nov 26, 2018 via iPhone
    10
    @megachweng 数据量大,尤其是业务数据,会经常变,这种做法只能满足基础数据,
    DaeDaluS
    DaeDaluS
    OP
    Nov 26, 2018 via iPhone
    11
    @ghos 存储数据都是其他部门的事情啊……,而且不止一个
    specture
    specture
    Nov 26, 2018
    12
    ETL+OLAP。ETL 过程可以用开源的组件或者商业组件或者自己实现。个人觉得设计上按照你说的没有特别大的问题。
    DaeDaluS
    DaeDaluS
    OP
    Nov 26, 2018 via iPhone
    13
    @specture 能不能具体指导一下;需要哪些组件完成设计;
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2481 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 11:21 · PVG 19:21 · LAX 03:21 · JFK 06:21
    ♥ Do have faith in what you're doing.