2021-06-23 hpkaiq 阅读(65) 评论(0)

脚本#! /bin/bash source /etc/profile set +o posix # to enable process substitution when not runni...

2021-05-25 hpkaiq 阅读(201) 评论(0)

背景：线上kudu 集群版本为1.11.0版本, spark 使用 kudu-spark2_2.11-1.7.0.jar，为了使用新版本中的val wo = new KuduWriteOptio...

2020-08-21 hpkaiq 阅读(923) 评论(0)

当 hive 表的分区字段 是 date 类型时，用如下方式读取会发生报错。val targetDay = "2020-08-20" spark.read.table(tab...

2019-05-06 hpkaiq 阅读(2408) 评论(0)

最近线上的spark项目日志文件急剧增加，磁盘顶不住了啊，解决日志文件问题，参考下面三篇文章，基本就可以搞明白了。1：【Spark】Spark日志过大导致磁盘溢出问题解决方案2：spark日志配...