wenbinwu

elasticsearch 可以处理多大量的服务

  •  
  •   wenbinwu · May 14, 2015 · 13353 views
    This topic created in 4196 days ago, the information mentioned may be changed or developed.
    举个例子,每条数据是一条产品信息
    索引100个每秒
    查询10k每秒

    这种量级(应该不算大)的要求可以满足吗

    如果有配置和优化elasticsearch的文章推荐就更好了
    19 replies  •  2016-11-02 14:50:01 +08:00
    cloudzhou
    cloudzhou
    May 14, 2015❤️1
    1
    elasticsearch 背后就是 lucene,索引的话 100/s 可以做到的,查询看起来不小。
    里面的优化主要针对 lucene。
    yeasy
    yeasy
    May 14, 2015❤️1
    2
    10k/s的查询得优化下
    多份,系统配置等……
    Phant0m
    Phant0m
    May 14, 2015 via Android❤️1
    3
    你这都不叫事。。。我们线上每天好几十G的日志都没压力(五台集群服务器)
    yyw
    yyw
    May 14, 2015❤️1
    4
    搜索本身其实是很容易平行扩展的东西。所以你说的能处理多大的量,主要是看机器有多少。
    wenbinwu
    wenbinwu
    OP
    May 14, 2015
    5
    @yeasy 请问有没有优化方面的文章

    @Phant0m 请问你是怎么配置的?几个index,几个replicates?
    wenbinwu
    wenbinwu
    OP
    May 14, 2015
    6
    @yyw 很多机器的时候,负载均衡是怎么做的?我搜了一下,貌似elasticsearch不需要负载均衡,因为其自带了。不过client如何配置es的ip呢?如果所有client指向同一个es,也是有问题的啊
    BlueWolf
    BlueWolf
    May 14, 2015
    7
    @wenbinwu 应该是指向集群的master
    BlueWolf
    BlueWolf
    May 14, 2015
    8
    @wenbinwu 貌似我没确定你说的client是输送数据的client还是向es请求搜索内容的client
    wenbinwu
    wenbinwu
    OP
    May 14, 2015
    9
    @BlueWolf 我是想说请求搜索的client,不过挺你一说,我也想知道两种client各应该如何配置
    hebwjb
    hebwjb
    May 14, 2015
    10
    我们现在用8台设备组的es集群,每天导入上亿条数据完全不叫事
    wenbinwu
    wenbinwu
    OP
    May 14, 2015
    11
    @hebwjb 你是怎么配置集群的啊?几个master,数据是在8个上都有存?
    BlueWolf
    BlueWolf
    May 15, 2015
    13
    @wenbinwu 其实我也想知道,目前测试的都是单台es,还没上集群……

    @hebwjb
    @Phant0m
    求教两位,输送数据到es的client和向es请求搜索内容的client应如何配置目标es,是master的ip吗?
    fxxkgw
    fxxkgw
    May 15, 2015
    14
    @BlueWolf 一般都是elk一起用的吧 logstash收集日志发到es中,然后kibana连接es展示。网上这种配置说明很多的。
    wenbinwu
    wenbinwu
    OP
    May 15, 2015
    15
    @fxxkgw 你说的是把es当作收集日志用的,如果我就是要做搜索服务呢
    hebwjb
    hebwjb
    May 16, 2015
    16
    @BlueWolf
    @wenbinwu
    配制成master的ip就可以了
    zxc337
    zxc337
    Aug 23, 2016
    17
    @BlueWolf es 对外是去中心化的, 集群有自身的 master 选举机制, 在主节点丢失那段时间, 集群是不能正常工作的, 不过这一短暂时间的选中几乎是瞬时完成的
    zxc337
    zxc337
    Aug 23, 2016
    18
    @wenbinwu 要做全文检索也很简单, es 默认支持很多分词方式, 也可以自定义分词插件集成在 es 里面;
    es 对外 api 有很多这方面的查询支持, 比如 DSL,相关性(relevance)查询,matchPhraseQuery 等接口
    asuraa
    asuraa
    Nov 2, 2016
    19
    我们现在一台服务器 每天平均 50G 的日志 没问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1522 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 11:50 · PVG 19:50 · LAX 03:50 · JFK 06:50
    ♥ Do have faith in what you're doing.