Spark小技巧之pivot

最近在用spark处理数据的时候，遇到了这样一种需求：
我想统计每个城市在工作日和周末早高峰、晚高峰、夜高峰和普通时间段的订单数，并且早高峰、晚高峰、夜高峰和普通时间段分别占一列。
原始文件CSV文件的内容如下图所示：

peak_type代表时间段，其中morning_peak代表早高峰、evening_peak代表晚高峰、nignt_peak代表夜高峰、normal代表正常时间段。
这个问题的实质就是想将某列不同的值转化为不同的列的问题。
解决这种问题最传统的方式就是对peak_type不同值分别进行处理，然后进行join操作，但是这种解决办法相当复杂并且代码量大，于是想看看有没有别的更好的办法，通过网上搜索，发现了一个叫做pivot的东西。
透视(pivot)数据功能是Spark 1.6的众多新增特性之一，它通过使用DataFrame(目前支持Scala、Java和Python语言)创建透视表(pivot table)。透视可以视为一个聚合操作，通过该操作可以将一个(实际当中也可能是多个)具有不同值的分组列转置为各个独立的列。
看到pivot这个功能，大喜，迫不及待使用，只用一行代码就可以搞定：
  csv.groupBy(“city_id”,”date_type”).pivot(“peak_type”).sum(“order_num”)

简单高效有木有，最终效果展现如下，满足了我的需求。

今天的文章Spark小技巧之pivot分享到此就结束了，感谢您的阅读，如果确实帮到您，您可以动动手指转发给其他人。