› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
tzh1247
V2EX  ›  MySQL

小白求一个大数据解决方案,感谢您的热心回答

  •  1
     
  •   tzh1247 · Mar 9, 2018 · 3922 views
    This topic created in 3154 days ago, the information mentioned may be changed or developed.

    公司做 IPTV 业务的,每一个地区每个业务每天的数据量 400 万 PV 左右(地区较多 15 个地区左右,每个地区一到两个业务,一个业务两台机器做的集群,每个地区的网络不互通,可跟公司白名单服务器互通),

    求一个大数据方案,主要要求如下:

    1. 计算每天 UV、PV、各页面访问量等

    2. 计算每月 UV、PV、各页面访问量等

    3. 根据运营条件做相关数据计算

    4. 服务器机器为两台集群,2G 内存到 8G 内存,本人想法是服务器最多算每个月的数据量,超过一个月的数据删除,用 mysql 实现

    5. 将服务器数据拉取到本地,采用多服务器、高配置,算一年或者几年的数据量

    6. 由于运营需要实时查看每天或者几天的数据,所以个人觉得第 4 点可行,比较服务器资源有限。

    请各位大神指点下方案,小白不胜感激,小白努力学习,感谢各位的指点。

    7 replies  •  2018-03-11 14:59:10 +08:00
    F281M6Dh8DXpD1g2
        1
    F281M6Dh8DXpD1g2  
       Mar 9, 2018
    总共一天六千万数据,随便写就行了
    Thiece
        2
    Thiece  
       Mar 9, 2018
    时间序列数据库考虑一下? influxdb 了解一下?
    vus520
        3
    vus520  
       Mar 9, 2018
    量级不大,随便一个日志中心化的方案+数据库都可以抗得住。推荐 ES。
    tzh1247
        4
    tzh1247  
    OP
       Mar 10, 2018
    @vus520
    @liprais
    大佬能具体点吗?打算做几年的架构考虑,后期也要做数据分析,感谢
    tzh1247
        5
    tzh1247  
    OP
       Mar 10, 2018
    而且考虑做大数据渲染图展示
    tzh1247
        6
    tzh1247  
    OP
       Mar 10, 2018
    服务器配置不高,硬盘也不大,不到 1T
    runntuu
        7
    runntuu  
       Mar 11, 2018 via iPhone
    1.OTLP 业务和 OLAP 业务最好分开在不同服务器,如果做不到 OLAP 至少要放到深夜进行,不能影响白天业务
    2.光说 PV 这个指标参考意义不大,多少内存也不是拍脑袋想出来的。数据库有最重要的两个指标,QPS 和 TPS,想办法得到业务高峰时这两个数值再去考虑服务器配置。
    3.超过一个月的数据删除,这个,额…万一要用到一个月前的数据怎么办?建议先归档吧,实在用不到再删除。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2952 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 11:20 · PVG 19:20 · LAX 04:20 · JFK 07:20
    ♥ Do have faith in what you're doing.