千万不要相信用 ES 去做数据仓库，Elasticsearch 不是数据库，而是一个搜索引擎，只是很多人把它当做数据库使用，ES 不适合数据仓库的原因有如下几点：

- 数据在一些统计聚合方面便利性和性能都不够（按时间维度进行复杂聚合用 ES 简直是灾难）
- 由于 ES 特性，如果你想保证数据不丢失就需要更多副本，那么就需要更多的资源开销，主要体现在几个方面
- 当数据崩溃后需要恢复的时间很长，我手里面用的 SAS RAID5 的盘，有 1T 数据恢复时间大概需要 5 分钟
- ES 想要稳定的运行那么就需要海量的内存，更多的硬盘空间，这块成本会增加很多

---

作为一个踩过数据仓库神坑的过来人，分享一点点经验可供参考。

1. 为什么要建立数据仓库？建立之后可以带来什么收益？（这点看上去是废话，实际上非常重要，很多企业建立数仓目标都不清楚，主要是看 BAT 都在弄，自己也得弄）
2. 数据调研
2.1 设计一个访谈表格（ eg：数据时间范围，业务来源等业务相关的东西）
2.2 对数据相关负责人进行了解业务模式和特点
2.3 设计数据交互标准（ eg：什么时候提交，什么格式，什么时间提交，什么方式等等，这个根据 2.1 和 2.3 来定）

3. ETL 方案确立
3.1 定义清洗方案（ eg：字段缺失，字段含义统一、无效标准等等）
3.2 数据转换，转换成标准格式或进行进一步富化
3.3 数据脱敏，对于关键数据传输要进行脱敏

4. 数据建模
4.1 确定维度表和事实
4.2 确定使用的数据仓库模型（ eg: 雪花型、星型还是星座型）
4.3 确定 index key

5. 确定整体技术架构
5.1 先确定自身项目数据容量和未来增长率
5.2 留好一个万能可扩展接口（哪怕未来实现扩展非常狼狈也要留出来，关键时候可以避免架构推倒重来）
TIPS: 没有万能的方案，需要考虑自身实际情况，比如你的项目人员都是 python 开发人员，那么千万别使用 Hadoop 生态，还有自身硬件和数据条件浙西都应该去考虑

6. 数据工厂

- 根据业务进行数据产品加工抽象方法（需要定义一套完整的 dataflow，eg：A 数据和 B 数据，根据 uid 进行 merge 然后产生 C 数据，形成新的事实表）
- 提供基础访问 API 接口，比如：支持一个 SQL 查询
TIPS:千万不要提供业务相关的 API，不仅不能很好的满足，而且会拖累整体质量

7. 数据审计
1. QOS
2. 权限管理
3. 数据流转过程

门槛低是好事，说明有充足的就业机会，如果你去上班最少得清华的博士，而且要求父母年收入不能低于 500 万，身高不低于 180 这个时候你又会抱怨这些门槛不合理

@berforest
@owencodeing
万一被抓了，公司项目组岂不是被团灭了 2333

兄弟还招人不，对你这个很感兴趣，做了好几次都没成功，希望能搭车再赌一次😄

其实最简单的办法就是等双十一过了，去咸鱼上过双十一，有很多买了用不上的东西有人会低价出😄

你说的这些都不是事，说 996，码头工人还有海员，那基本不放假！煤矿工人不仅面临老板跑路不发钱，还面临矿难，遇到一次那不是丢工作问题了可能命都没了。 自己吃着行业红利，每天无病呻吟，有空想这些，不如改变自己的现状。

如果刹车用手竿，加油用脚，在高速行驶的情况下，会更加手忙脚乱，会更危险

现在都是自动挡，开车都是一只脚开，基本上不会踩错啊，而且刹车阻尼系数比油门要高啊，踩下去冲程不一样，马上收就行了啊

我有完整的代码+发卡平台，有兴趣可以聊一下

住过某火箭军招待所，出入都要有人签字，需要有相关证件 2333

本我、自我、超我，佛洛依德已经阐述的很清楚了

如果考虑中文名字不好起，还可以叫“袋熊（ Wombat ）”，BTW:上一个叫考拉的已经去动物园养老了 23333

电商一定要取个动物名，这样就能加入阿里家的动物园了，这位少侠看你骨骼惊奇，送你一个名字吧--“Kiwi”

@lijinma 过去了 519 天了，依然没什么革命，跑路了更多币了，以太坊价格更差了，兄弟我啥时候打脸啊啊

@JJstyle 手机控盘成本会更高，我国人民特别擅长干这个，别忘了当年的第一架战斗机是靠给苏联做衬衣和球鞋换来的😄

配套设施要好，记得开一家麻将馆和餐馆进行配套😄