同一机柜内 7、8 台服务器之间不停从一个位置交换文件（平均每个文件为 100、200 兆大小），大家有什么好的存储交换方案吗？比如用什么样的交换机、用什么存储协议或方式，最好是开源的方案，谢谢~~

This topic created in 4311 days ago, the information mentioned may be changed or developed.

现在采用的是千兆交换机链接 7、8台服务器。
其中一台服务器运行 centOS 的 NFS (ver 3）服务，其他服务器 Mount 它使用，交换数据。
但随着服务器之间文件交换量越来越大，这个 NFS 已经撑不住了。
现在想改造这个存储的方案，大家有什么推荐的吗？

服务器

交换机

交换

20 replies • 2014-10-22 21:39:32 +08:00

adrianzhang

Oct 22, 2014

貌似没有上专门的存储设备啊。是因为价格么？如果价格还算可以承受，可考虑EMC SAN直连。如果还有预算，注重性能，可看一下：

http://en.wikipedia.org/wiki/InfiniBand
比较昂贵，但性能好。

canesten

Oct 22, 2014

同带宽下InfiniBand比其他的万兆并不贵多少

yanerweb

Oct 22, 2014

@adrianzhang 现在没有用任何专门的存储设备，资金有限，可能本次改造最多投入 5到10万元，
貌似是需要引入 SAN存储的概念了？是吗？ NAS 什么的，不行吧？
另外，是不是需要提升到万兆网络了~~

xenme

Oct 22, 2014

1000M的话，吞吐只有100M/s，你的磁盘的读写速度应该还是能满足的。
所以，一种是上万兆，然后共享的server可以放到cache里面嘛，如果文件不多，不大的话，直接丢内存，这样IO就不成问题了。
或者就是上SAN了。

yanerweb

Oct 22, 2014

@xenme 哦，那么服务器之间文件交换的协议用什么那？还是 NFS 吗？或其他什么协议？谢谢~~

xenme

Oct 22, 2014

NFS也是可以满足的，只要你机器性能跟得上。EMC的NAS跑个万兆不成问题。换万兆么，比现在性能会有很大提升。
不过前提要确定现在的瓶颈在哪里，才好对症下药。

zxy

Oct 22, 2014

FC 加HBA 上EMC存储,存储别考虑国内的那几家

adrianzhang

Oct 22, 2014

@yanerweb 上SAN或者Infiniband一般说来要看IO是多少，并预估未来所需要的。NAS一般用于普通分享，在小文件特别多并大量存取的时候会有显著性能下降。你的这个情况，可以找EMC售前给评估一下。
@xenme 所说的是个简单的解决办法，但如果文件总量太大无法放入内存，或者吞吐增长非线性，那还是赶紧换SAN解决。EMC设备不贵，贵在硬盘上（他家的硬盘是专用的）。如果对于数据安全要求不是特别高，那么可以考虑别的SAN，比如IBM或HP的，捡便宜的上，也好过NFS性能。

adrianzhang

Oct 22, 2014

另外需要注意的是：上SAN，划zone，共享又是个问题。找存储公司售前问的时候注意这些问题。

yanerweb

Oct 22, 2014

谢谢大家，
没有开源的存储方案吗？我现在主要是寻找比服务器NFS服务共享磁盘这种最土更好的交换方案。
硬件费用在 5到8万元左右~~

xenme

Oct 22, 2014

@adrianzhang SAN共享是个大坑，而且预算只有10W，比较困难

adrianzhang

Oct 22, 2014

@yanerweb 欧美很多小NAS硬件公司的firmware都是用linux改的。
@xenme 没错，所以我赶紧加了一条提醒。这么多机器共享，以前都是SAN加NAS头做的。

xenme

Oct 22, 2014

@yanerweb 其实建议你分析下瓶颈在哪里：
如果在centos的CPU/network，对应的加就好了。
开源存储如 @adrianzhang 也都是Linux改的，甚至有些就是精简了下而已。
找到瓶颈，才是关键。

9hills

Oct 22, 2014

@yanerweb 用分布式文件系统，比如MooseFS，ClusterFS等。

denghongcai

Oct 22, 2014

分布式文件系统靠谱，但是坑有点多……

pubby

Oct 22, 2014

交换文件具体怎么个过程啊？

看看瓶颈是磁盘还是网络再想解决办法

webjin

Oct 22, 2014

哈哈 ~

Lax

Oct 22, 2014

比如MooseFS，Ceph。如果是hadoop的话，直接就用hdfs了。

msg7086

Oct 22, 2014

GlusterFS？一堆服务器万兆互联做集群什么的

ziyuan

Oct 22, 2014

感觉你的瓶颈是网络交换，建议升级到万兆先

同一机柜内 7、8 台服务器之间不停从一个位置交换文件（平均每个文件为 100、200 兆大小），大家有什么好的存储交换方案吗？比如用什么样的 交换机、用什么存储协议或方式，最好是开源的方案，谢谢~~

同一机柜内 7、8 台服务器之间不停从一个位置交换文件（平均每个文件为 100、200 兆大小），大家有什么好的存储交换方案吗？比如用什么样的交换机、用什么存储协议或方式，最好是开源的方案，谢谢~~