• 请不要在回答技术问题时复制粘贴 AI 生成的内容
SlipStupig
V2EX  ›  程序员

上百亿数据规模数据数据如何进行处理

  •  
  •   SlipStupig · Mar 3, 2017 · 3887 views
    This topic created in 3538 days ago, the information mentioned may be changed or developed.
    400 亿规模的数据规模如何进行快速搜索和入库呢?用 mongodb 集群+es 可以完成这项任务吗?
    13 replies  •  2017-03-03 18:00:09 +08:00
    qfdk
    qfdk
    PRO
    Mar 3, 2017 via iPhone
    1
    同样问题 你们入库速度大概多少 我 26000000 大概半小时 单机 es
    herozhang
    herozhang
    Mar 3, 2017
    2
    磁盘、内存、 CPU 是啥配置,不说没法对比啊
    qfdk
    qfdk
    PRO
    Mar 3, 2017 via iPhone
    3
    @herozhang 内存 16g i7 三代 硬盘 500g ubuntu 16 04
    XiaoFaye
    XiaoFaye
    Mar 3, 2017
    4
    @qfdk 500g HDD?
    herozhang
    herozhang
    Mar 3, 2017
    5
    通用思路应该是根据搜索需求的具体情况来分库,热数据直接放内存,冷数据放硬盘
    wph95
    wph95
    Mar 3, 2017
    6
    500g HDD ???
    你每条数据有多小?
    10b 一条?
    stabc
    stabc
    Mar 3, 2017
    7
    我觉得做这种事情的人问这种问题有种悖论在里面。
    就好像之前看过一个询问“我就要当 CEO 了,请问 CEO 平时都做些什么?”
    yepinf
    yepinf
    Mar 3, 2017
    8
    ['100 亿数据 1 万属性数据架构设计']( http://www.36dsj.com/archives/75363)
    SlipStupig
    SlipStupig
    OP
    Mar 3, 2017
    9
    @wph95 每天数据应该在 100kb 以内吧
    qfdk
    qfdk
    PRO
    Mar 3, 2017
    10
    @XiaoFaye 对 hdd 大概 100000 数据 /s 每个包大概 14Mb
    lhbc
    lhbc
    Mar 3, 2017 via iPhone
    11
    这个问题至少值几十万年薪啊
    SlipStupig
    SlipStupig
    OP
    Mar 3, 2017
    12
    @lhbc 月入 5.5 块的路过...
    wshcdr
    wshcdr
    Mar 3, 2017
    13
    关注这个问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2570 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 10:56 · PVG 18:56 · LAX 02:56 · JFK 05:56
    ♥ Do have faith in what you're doing.