脚本执行spark-shell scala文件退出 脚本 #! /bin/bash source /etc/profile set +o posix # to enable process substitution when not running on bash scala_file=$1 shift 1 arguments=$@ ##### scala 文件后加 sys.exit spark-s… 2021-12-17 14:24 | 440 | 0 | 编程 58 字 | 2 分钟 spark大数据
spark 读取 hive date 分区表 奇怪的报错 当 hive 表的分区字段 是 date 类型时,用如下方式读取会发生报错。 val targetDay = "2020-08-20" spark.read.table(tableName) .where(s"targetday in (" + s"date_sub('$targetDay… 2021-12-17 14:21 | 388 | 0 | 编程 112 字 | 2 分钟 spark大数据
spark yarn cluster模式下log4j日志的配置 最近线上的spark项目日志文件急剧增加,磁盘顶不住了啊,解决日志文件问题,参考下面三篇文章,基本就可以搞明白了。 1:【Spark】Spark日志过大导致磁盘溢出问题解决方案 2:spark日志配置及问题排查方式。 3:Spark log4j 日志配置详解 以上内容转载自网络,如有侵权,请联系删除。 2021-12-17 14:19 | 375 | 0 | 编程 119 字 | 1 分钟内 spark大数据