实现 spark dataframe/dataset 根据mysql表唯一键实现有则更新，无则插入功能。 基于 spark2.4.3 scala2.11.8 工具类 DataFrameWriterEnhance package com.xxx.utils import org.apache.spark.sql.catalyst.plans.logi…

脚本 #! /bin/bash source /etc/profile set +o posix # to enable process substitution when not running on bash scala_file=$1 shift 1 arguments=$@ ##### scala 文件后加 sys.exit spark-s…

当 hive 表的分区字段 是 date 类型时，用如下方式读取会发生报错。 val targetDay = "2020-08-20" spark.read.table(tableName) .where(s"targetday in (" + s"date_sub('$targetDay…

最近线上的spark项目日志文件急剧增加，磁盘顶不住了啊，解决日志文件问题，参考下面三篇文章，基本就可以搞明白了。 1：【Spark】Spark日志过大导致磁盘溢出问题解决方案 2：spark日志配置及问题排查方式。 3：Spark log4j 日志配置详解 以上内容转载自网络，如有侵权，请联系删除。