Cola98

看看大佬们的个人 K8S 集群以及存储方案

  •  
  •   Cola98 · Mar 13, 2023 · 6536 views
    This topic created in 1345 days ago, the information mentioned may be changed or developed.

    小弟搭建了一个三节点 K8S 集群,master 节点是 4C8G node 节点都是 2C4G ,目前在集群上跑着 cilium,prometheus,后期打算跑 kafka/redis/es 等等中间件,但是奈何配置问题,存储一直是一个问题,之前使用 openEBS 体验还行,后来换成 rook 后配置似乎跟不上了,请教各位大佬的存储方案都有些啥

    39 replies  •  2024-06-29 08:48:17 +08:00
    CodeWind
    CodeWind
    Mar 13, 2023
    1
    乞丐版路过。先说背景,目前是腾讯云三台轻量,Master 2H4G ,Node 一台 4H4G ,一台 2H4G ,Master 挂载一块 100G 轻量云硬盘,使用 NFS 给 K3S 集群使用。
    计划通过 Alist 来挂载三方存储(主要是阿里云盘),定期将本地 hostpath 的存储文件转移到 Alist 挂载的三方存储里。
    tftk
    tftk
    Mar 13, 2023
    2
    个人搞个集群使用场景是啥呢
    rockddd
    rockddd
    Mar 13, 2023
    3
    @tftk 对于我来说就是模拟实战,不会就没法在公司用。
    optional
    optional
    Mar 13, 2023
    4
    klafka/es/redis ,这些本身支持分布式部署,可以直接用 local storage 获取性能提升。
    Cola98
    Cola98
    OP
    Mar 13, 2023
    5
    @optional ok 之前没有注意到这点,一直都是 CSI 这种,感谢大佬
    Cola98
    Cola98
    OP
    Mar 13, 2023
    6
    @CodeWind 了解,我看 hostpath 好像发生调度之后就会使用不了,所以就没考虑过 hostpath
    Cola98
    Cola98
    OP
    Mar 13, 2023
    7
    @tftk 和楼下大哥一样,主要是个人学习和开发~
    levelworm
    levelworm
    Mar 13, 2023 via Android
    8
    @wxw752 我也准备自学一下,搞了台二手 32gb 内存 2T 硬盘的乞丐服务器,不知道能不能用。。。
    ysicing
    ysicing
    Mar 13, 2023❤️1
    9
    搞了 3 套 k3s 集群,国内两套,香港一套,反正都在吃灰。
    国内跑主要服务,其中一套用腾讯云 cfs 基于 nfs ,另外一套基于某个节点做的 nfs
    香港跑的 web 服务没有持久化,即使有丢弃也没事 empty 方式

    目前体验还行,除了 prometheus 需要控制一下,其他都还行。
    Actrace
    Actrace
    Mar 13, 2023
    10
    怎么说呢,这个时间节点,我觉得 k8s 可能撑不久了。
    毕竟 OpenAI 出来之后,只需要把服务器交给它管理就行了。
    lhx2008
    lhx2008
    Mar 13, 2023
    11
    真到了生产其实也不建议搞数据库,维护很困难
    lhx2008
    lhx2008
    Mar 13, 2023
    12
    本地存储,阿里有开源一套本地盘做的还不错,用的 LVM ,不怕困难也可以 Longhorn
    sniperking1234
    sniperking1234
    Mar 13, 2023
    13
    @Actrace 出了问题怎么办,调试 AI 源码?
    echo1937
    echo1937
    Mar 13, 2023
    14
    @Actrace #10 你说的那是<流浪地球 2>当中的智能量子计算机 550 系列。
    hhjswf
    hhjswf
    Mar 13, 2023 via Android
    15
    @CodeWind 单 master 也能算集群吗
    liuhan907
    liuhan907
    Mar 13, 2023
    16
    我是用二手 r730 + k0s 搭建的集群。本身带副本的服务就直接用 openebs 的 local 存储,不带的则是用 NFS 接 TrueNAS 共享出来的存储。反正个人用,也不在乎 HA 啥的,NFS 够用了。Rook 那玩意太吃配置了,ceph 本身三主+三副本就需要六节点,还有 k8s 自己的资源消耗。
    securityCoding
    securityCoding
    Mar 13, 2023 via Android❤️1
    17
    公司配了 16u32g 测试服务器,几乎没用过,jetbrains gateway 太废物了
    NXzCH8fP20468ML5
    NXzCH8fP20468ML5
    Mar 14, 2023❤️1
    18
    通通都扔到 s3 上,计算和存储分离
    idblife
    idblife
    Mar 14, 2023 via iPhone
    20
    @securityCoding
    vscode ssh remote
    leaflxh
    leaflxh
    Mar 14, 2023❤️1
    21
    nfs 或者 minio
    Cola98
    Cola98
    OP
    Mar 14, 2023
    22
    @liuhan907 确实,rook 对于我目前的配置还是太大了
    hzfyjgw
    hzfyjgw
    Mar 14, 2023❤️1
    23
    local-path-provisioner 的 local-path-storage
    securityCoding
    securityCoding
    Mar 14, 2023 via Android
    24
    @idblife 试了好几次用不习惯,全家桶太香了
    Cola98
    Cola98
    OP
    Mar 14, 2023
    25
    后续来了,最后还是选择用 openEBS hostpath 的方法,使用简单,之前用过 lvm 的方式,需要在每个节点上配置比较麻烦,还有一些其他的 CSI 还没测试过,比如 juiceFS 等等,有机会了打算在继续尝试下,感谢各位大佬的回复!
    vhwwls
    vhwwls
    Mar 14, 2023
    26
    裸考过了 CKA 的运维路过。。。。第一次听说个人还搞个 K8s 用的,我是一直在笔记本上跑集群
    https://ppt.cc/fayiex
    root01
    root01
    Mar 14, 2023
    27
    @vhwwls 求分享笔记
    sampeng
    sampeng
    Mar 14, 2023
    28
    个人搞 k8s 实在想不出有什么价值。。。
    Cola98
    Cola98
    OP
    Mar 15, 2023
    29
    @sampeng 自己开发和学习用= =
    zhujq
    zhujq
    Mar 15, 2023❤️1
    30
    自己用还是不要用 rook ,ceph 了吧,除了耗资源想不出其他好处
    Cola98
    Cola98
    OP
    Mar 15, 2023
    31
    @zhujq 是的,现在用了 openEBS
    pmx1990
    pmx1990
    Mar 29, 2023
    32
    重要数据 local + 主从
    vhwwls
    vhwwls
    Mar 30, 2023
    33
    @root01 #27 没做什么笔记,就凭平时自己在公司用的那些东西直接去考了。不过如果你要笔记的话 B 站上应该有很多可以去看看
    runzhliu
    runzhliu
    Apr 12, 2023
    34
    这个节点的配置,想跑这么多组件,感觉是够呛的了
    Cola98
    Cola98
    OP
    Apr 12, 2023
    35
    @runzhliu 嗯嗯,后续不打算使用 es 了,太占用资源了
    njmaojing
    njmaojing
    Jun 24, 2024
    36
    @Cola98 openEBS local 方式这段时间用的咋样啊,坑多么
    Cola98
    Cola98
    OP
    Jun 24, 2024
    37
    @njmaojing 还行,就是需要注意漂移问题
    njmaojing
    njmaojing
    Jun 28, 2024
    38
    其实我觉得吧,既然要部署 mysql ,es 啥的,要么虚拟机部署,要不就静态 POD 方式,用分布式存储如果出问题解决起来就比较蛋疼了
    Cola98
    Cola98
    OP
    Jun 29, 2024
    39
    @njmaojing 确实,这个问题还是比较难解决了,k8s 好处就是部署比较简单,使用起来方便;但是出了问题就不好维护,需要懂 K8S 和相关中间件
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2901 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 64ms · UTC 00:44 · PVG 08:44 · LAX 16:44 · JFK 19:44
    ♥ Do have faith in what you're doing.