2020-08-21 hpkaiq 阅读(483) 评论(0)

当 hive 表的分区字段 是 date 类型时，用如下方式读取会发生报错。val targetDay = "2020-08-20" spark.read.table(tab...

2019-05-06 hpkaiq 阅读(1866) 评论(0)

最近线上的spark项目日志文件急剧增加，磁盘顶不住了啊，解决日志文件问题，参考下面三篇文章，基本就可以搞明白了。1：【Spark】Spark日志过大导致磁盘溢出问题解决方案2：spark日志配...