2025年pyspark读取mysql(spark 读取mysql)

pyspark读取mysql(spark 读取mysql)一 项目背景 二 项目需求 nbsp nbsp nbsp nbsp 1 需求 nbsp nbsp nbsp nbsp 各省销售指标 每个省份的销售额统计 nbsp nbsp nbsp nbsp TOP3 销售省份中 有多少家店铺日均销售额 1000 nbsp nbsp nbsp nbsp TOP3 省份中 各个省份的平均单价 nbsp nbsp nbsp nbsp TOP3 省份中 各个省份的支付类型比例




一、项目背景

二、项目需求

(1)需求

①各省销售指标,每个省份的销售额统计

②TOP3销售省份中,有多少家店铺日均销售额1000+

③TOP3省份中,各个省份的平均单价

④TOP3省份中,各个省份的支付类型比例

(2)要求

①将需求结果写出到mysql

②将数据写入到Spark On Hive中

三、代码实现

(1)需求1:

结果展示:

sparksql取余数_hive

MySQL数据展示:

sparksql取余数_spark_02

Hive数据展示:

sparksql取余数_hive_03

sparksql取余数_sparksql取余数_04

   (2)需求2:

结果展示:

sparksql取余数_hive_05

MySQL结果展示:

sparksql取余数_spark_06

Hive结果展示:

sparksql取余数_hive_07

sparksql取余数_hive_08

(3)需求3:

结果展示

sparksql取余数_hive_09

MySQL与Hive结果展示:

sparksql取余数_sparksql取余数_10

(4)需求4:

结果展示:

sparksql取余数_sql_11

       MySQL结果展示:

sparksql取余数_sparksql取余数_12

Hive结果展示:

sparksql取余数_sparksql取余数_13

四、项目运行问题及解决方法

        报错:java.sql.BatchUpdateException: Incorrect string value: 'xE6xB1x9FxE8xA5xBF...' for column 'storeProvince' atrow1

原因:MySQL的UTF-8只支持3个字节的unicode字符,无法支持四个字节的Unicode字符

解决办法:在MySQL控制台执行下列代码修改编码格式

sparksql取余数_spark_14

编程小号
上一篇 2025-02-20 17:06
下一篇 2025-03-30 17:06

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/bian-cheng-ri-ji/7621.html