pyspark dataframe array 列求和

This topic created in 2949 days ago, the information mentioned may be changed or developed.

pyspark dataframe 中其中一列的数据类型为 ArrayType(IntegerType())，如何对这列求和

如：
+----------------+
| x|
+----------------+
|[[1, 5], [1, 5]]|
|[[0, 1], [0, 1]]|
|[[4, 5], [4, 5]]|
+----------------+
如何将求 x 列的总和，得到[[5,11],[5,11]]

dataframe

pyspark

列求

arraytype

1 replies • 2018-10-16 10:44:59 +08:00

ylxw

Oct 16, 2018

装换为 rdd,使用累加器进行求和