Home
Sign Up
Sign In
Advertisement
V2EX
›
编程
有熟 Spark 大佬么? Spark 分析逻辑怎么验证正确性?
leeg810312
·
Apr 26, 2019
via Android · 4601 views
This topic created in 2765 days ago, the information mentioned may be changed or developed.
第一次做大数据项目,用 Spark 写分析代码,现在客户要我们证明运算逻辑没有问题,海量数据要怎么验证啊?
Spark
验证
逻辑
正确性
3 replies
•
2019-04-27 23:42:54 +08:00
yangxin0
Apr 26, 2019
1
设计一个 FakeSpark 主要用作测试, 基于每个 action 做单元测试, 标记好输入和输出.
yangxin0
Apr 26, 2019
2
话说, 你设计的时候没有考虑到测试么?
leeg810312
OP
Apr 27, 2019 via Android
3
@
yangxin0
第一次做 Spark,用 Scala 写的,FakeSpark 的意思是做一个工具生成测试数据吗?另外一般单元测试是不能有外部依赖的,那么 Spark 的单元测试是要将所有的测试数据硬编码在单元测试代码里吗?
About
·
Help
·
Advertise
·
Blog
·
API
·
FAQ
·
Privacy
·
Solana
·
969 Online
Highest 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 28ms ·
UTC 22:07
·
PVG 06:07
·
LAX 14:07
·
JFK 17:07
♥ Do have faith in what you're doing.
❯