octocatami
0.13D
V2EX  ›  Java

结构化数据,数据量很大 2g 左右(不修改),如何设计数据结构,使得查询的时间和空间复杂度尽可能的低

  •  
  •   octocatami · Jun 30, 2019 · 5487 views
    This topic created in 2686 days ago, the information mentioned may be changed or developed.

    上忆条数据,每条数据都不大

    13 replies  •  2019-07-01 15:23:42 +08:00
    zollum
    zollum
    Jun 30, 2019 via Android
    1
    存数据库
    v2exe2v
    v2exe2v
    Jun 30, 2019
    2
    DolphinDB 了解一下 https://www.dolphindb.cn/
    lihongjie0209
    lihongjie0209
    Jun 30, 2019
    3
    数据库, 建索引
    vjnjc
    vjnjc
    Jun 30, 2019 via Android
    4
    时间,空间只能选一。
    一般就是要查询快,建索引
    opengps
    opengps
    Jun 30, 2019
    5
    具体什么要求?关系型数据库还是非关系型?
    笼统说,上亿条数据虽然不少,但也不太大,算是个分水岭的位置
    dongyx
    dongyx
    Jun 30, 2019
    6
    楼主需要再多给点细节:

    1. 2G 是怎么定义的?数据的大小是和数据结构本身有关的,不同结构消耗的空间不一样,你说的 2G,具体是怎样的 2G。

    2. 查询是怎么定义的,数据是怎样的结构,需要的查询操作有哪些?比如要查哪些 field,只需要精确匹配吗?需要子串查询吗?正则吗?范围不等式查询吗?
    wukangave
    wukangave
    Jun 30, 2019
    7
    v2ex 下限越来越低了,提问的连需求都描述不清楚
    dcsite
    dcsite
    Jun 30, 2019
    8
    这点数据量, MYSQL + 索引 不就解决了么?
    txy3000
    txy3000
    Jun 30, 2019 via Android
    9
    2g 很大吗? 你全部加载放入内存都没问题对现代 PC 来说 redis 有 hash 结构 o(1)够快吧
    lookas2001
    lookas2001
    Jul 1, 2019 via Android
    10
    你的数据是关于啥的,以及你想查啥。
    不同场景有不同优化方案,楼主你需要先把需求说清了啊😂
    reus
    reus
    Jul 1, 2019
    11
    用 SQLite,99%都比你自己设计的好。
    fox0001
    fox0001
    Jul 1, 2019 via Android
    12
    歪个楼,导入 Solr,还能增强模糊查询
    zibber
    zibber
    Jul 1, 2019
    13
    es 一把梭
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3568 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 54ms · UTC 05:16 · PVG 13:16 · LAX 21:16 · JFK 00:16
    ♥ Do have faith in what you're doing.