Feiox
V2EX  ›  Node.js

开发长连接推送服务,如何模拟 100w 客户端频繁交互?

  •  
  •   Feiox · Aug 24, 2015 · 13429 views
    This topic created in 4092 days ago, the information mentioned may be changed or developed.

    最好能单机, Node Go Python 都可以,需要完成一定的业务逻辑。有现成的工具可以使用吗?

    内容为 1k 左右的内容。平均每秒约有 1/20 的客户端发送消息,峰值要能实现 1/2 的用户同时发送。

    Supplement 1  ·  Aug 24, 2015
    抱歉,心思一乱多打了“单机”二字。应该是 测试客户端集群 <-> 服务端集群
    35 replies  •  2015-08-26 14:31:42 +08:00
    jiumingmao
    jiumingmao
    Aug 24, 2015
    1
    单 ip 只能对同一服务器 ip 发起 65535 个连接,要单机的话,这个机器需要有 20 个 ip
    cyshi
    cyshi
    Aug 24, 2015
    2
    @jiumingmao 确定是 65535 么
    jiumingmao
    jiumingmao
    Aug 24, 2015
    3
    @cyshi 这是只是 16 位端口的理论值,并且发起连接使用的是高端口,要修改系统配置才能使用低端口。多找几台机器方便,比如现在很多 vps 是按小时计费的,搞一批测一小时
    yuxizhou
    yuxizhou
    Aug 24, 2015
    4
    100w 每秒 1/2 的活跃,你这 server 都很难单机吧
    rogerchen
    rogerchen
    Aug 24, 2015
    5
    单机 500K 问题有成熟解决方案的只有 Google 这种体量的公司了,基本思路都不是 epoll 这些了,肯定要涉及到用户态协议栈的魔改,楼主洗洗睡吧。
    rogerchen
    rogerchen
    Aug 24, 2015
    6
    楼主居然还是说的是单机 500K 长连接,请收下我的膝盖。
    ilskenyf
    ilskenyf
    Aug 24, 2015
    7
    jmeter
    aszxqw
    aszxqw
    Aug 24, 2015
    8
    个人觉得,开发一个模拟 100w 客户端的工作,比开发一个接受 100w 连接的服务器还麻烦得多。。。
    xufang
    xufang
    Aug 24, 2015
    9
    只有 erlang 了, golang 目前还搞不定。
    odirus
    odirus
    Aug 24, 2015
    10
    你是为了省钱么?最后反而还没集群便宜,做的时候就做成集群,省事儿。
    invite
    invite
    Aug 24, 2015
    11
    楼主找到了分享一下。
    loqixh
    loqixh
    Aug 24, 2015
    12
    @jiumingmao 端口可以共享的,远远不止 65K
    alexapollo
    alexapollo
    Aug 24, 2015
    13
    @rogerchen 说实话这并不难,国内大公司都做得到。。
    jiumingmao
    jiumingmao
    Aug 24, 2015
    14
    @loqixh local_ip:loacl_port:remote_ip:remote_port:[tcp,udp] . 5 元组中 4 个都相同,只剩下 loacl_port 可以变,就只能到 65K 了
    free6om
    free6om
    Aug 24, 2015
    15
    可以试试 tsung ,私有协议的话就自己写一个 tsung 插件,端口的问题可以用 linux 的虚拟网络接口, 100w 连接 32G 内存差不多了。
    mengzhuo
    mengzhuo
    Aug 24, 2015 via iPhone
    16
    500w 长链接 单机…嗯

    4k * 500 w = 19GB tcp buffer
    16 核 * 3G *2/ 500w = 20KHZ 每个客户端
    1G 网卡 /500w = 200B/s 每个客户端
    确定你的机子有这个能力么…
    caoyue
    caoyue
    Aug 24, 2015
    17
    Tsung 可以试试
    硬件够的话,加上虚拟网卡虚拟 IP 之类的方法应该可以实现
    shangjiyu
    shangjiyu
    Aug 24, 2015 via iPhone
    18
    首先 定义一个 socket 的元组是 IP 加端口,虚拟 IP 可以实现模拟并发客户端的
    对于 c10k 可以 io 多路复用,多线程啊等现有技术实现
    500K 应该也可以吧,以现在硬件性能
    现在都在研究 c10M 问题了,脱离操作系统独立于内核的数据包快速处理(貌似 DPDK , pf-ring ?, snap-switch ),自己实现 tcp 栈
    jiumingmao
    jiumingmao
    Aug 24, 2015
    19
    @free6om 虚拟网络接口,这要求客户端和服务端在同一台机器上。这样对服务端的测试不准确吧。
    zonghua
    zonghua
    Aug 24, 2015 via iPhone
    20
    这怎么可能,不是小数目啊,你的单机是天河二号?
    ovear
    ovear
    Aug 24, 2015
    21
    现在的项目都是几百万几千万起步了么。。膜拜。。
    crystom
    crystom
    Aug 24, 2015
    22
    楼上重点全放在单机上了。。
    zado
    zado
    Aug 24, 2015
    23
    @mengzhuo 服务端的话,长连接并不等于并发,我用 32 位下编写的程序( 2GB 的用户内存空间)也可以支持到 100 万连接。不收发数据的话是几乎不需要花 CPU 时间的,如果不是瞬间建立大量连接的话,网卡流量也不是很大的。
    Los
    Los
    Aug 24, 2015
    24
    参考一下 erlang 的这篇文章
    《 100 万并发连接服务器笔记之 1M 并发连接目标达成》
    http://www.blogjava.net/yongboy/archive/2013/04/28/398558.html
    mengzhuo
    mengzhuo
    Aug 24, 2015❤️1
    25
    @zado

    服务端不收发数据,拿来干嘛……
    zado
    zado
    Aug 24, 2015
    26
    @mengzhuo 是啊,我也不知道......
    realpg
    realpg
    Aug 25, 2015
    27
    百万没比划过,单机搞过四十万并发持续 TCP 连接的单端口单机鉴权解码程序,传输量比较小没啥问题。
    CPU IO NETIO 都不高 就是疯狂的吃内存 linux 内核都重新编译在 TCP 调度器做一些修改才能抗住这么高持续连接

    至于上面几层人说的端口号问题,又不是服务器发起那么多远程连接, 65535 限制跟这个风马牛不相及……
    服务器端只需要一个服务端口开出去……是客户端连过来的……
    powergx
    powergx
    Aug 25, 2015 via iPhone
    28
    @realpg 客户端是单机
    JonyOang
    JonyOang
    Aug 25, 2015
    29
    歪个楼,为什么这个帖子打开页面背景是黑色的
    zonghua
    zonghua
    Aug 25, 2015 via iPhone
    30
    @JonyOang V2EX 不同节点有不同主题的,这里是 node
    JonyOang
    JonyOang
    Aug 25, 2015
    31
    @zonghua 涨知识了 哈
    llbgurs
    llbgurs
    Aug 25, 2015
    32
    用 erlang 吧,省事,多找几台测试客户端的机器,跑一下就可以了
    azhao
    azhao
    Aug 25, 2015
    33
    单机器模拟 100w 连接是不可能的,去阿里云或 aws 开虚拟机来做吧
    jiangzhuo
    jiangzhuo
    Aug 25, 2015
    34
    单机别想了用 loadRunner 做集群方便 跟单机没太大区别
    free6om
    free6om
    Aug 26, 2015
    35
    @jiumingmao 不需要同一台机器
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4291 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 89ms · UTC 09:38 · PVG 17:38 · LAX 01:38 · JFK 04:38
    ♥ Do have faith in what you're doing.