sqoop export \ --update-key unique_index_columns \ --update-mode allowinsert 问题描述： 用上述模式 sqoop 导入数据更新 mysql 数据，无论导入的数据与mysql里数据相比有没有更新，mysql表的 AUTO_INCREMENT 的PRIMARY KEY 例如 （…

脚本 #! /bin/bash source /etc/profile set +o posix # to enable process substitution when not running on bash scala_file=$1 shift 1 arguments=$@ ##### scala 文件后加 sys.exit spark-s…

背景： 线上kudu 集群版本为1.11.0版本, spark 使用 kudu-spark2_2.11-1.7.0.jar， 为了使用新版本中的 val wo = new KuduWriteOptions(ignoreNull = true) 特性，升级至 kudu-spark2_2.11-1.11.0.jar 版本，但是报错 java.io.In…

项目用到phoenix，使用了这个jar包phoenix-client-4.14.1-HBase-1.4.jar，这个jar包导致的jar包冲突很多，一番摸索，解决了，解决如下。 先jar命令解压jar包，然后删除以下内容。然后在jar命令打成jar包。 rm -r javax/ rm -r com/jayway/ rm -r org/apache…

当 hive 表的分区字段 是 date 类型时，用如下方式读取会发生报错。 val targetDay = "2020-08-20" spark.read.table(tableName) .where(s"targetday in (" + s"date_sub('$targetDay…

线上项目出现一个很奇怪的问题，数据经过Spark程序消费Kafka写入Kudu，出现Kudu Master连接超时，这个问题开始排查不出原因，有点头大，只能采用下下策，重启Spark程序，出现过几次后， 我记录了出现的时间，发现每次出现时间有个固定周期，一周，有规律就是最大的好消息，感觉离发现真相不远了，果然网上有这方面的问题讨论，虽说以前也去网上…

最近线上的spark项目日志文件急剧增加，磁盘顶不住了啊，解决日志文件问题，参考下面三篇文章，基本就可以搞明白了。 1：【Spark】Spark日志过大导致磁盘溢出问题解决方案 2：spark日志配置及问题排查方式。 3：Spark log4j 日志配置详解 以上内容转载自网络，如有侵权，请联系删除。

转载自网络，不保证可用性及是否拥有版权，仅供分享，如有法律纠纷，请联系删除。 国内网站 1、鸠摩搜书 网址：https://www.jiumodiary.com/ 一个强大的搜书神站，无论是什么类型的书籍，只要你知道书名，就可以轻松的搜到你想要书籍。页面简单明了，书籍种类繁多，格式多种多样，有mobi格式、pdf格式、word格式、txt格式等。关…

配置好下面三个属性。 <!-- 超过时间限制是否回收 --> <property name="removeAbandoned" value="true" /> <!-- 超时时间；单位为秒。180秒=3分钟 --> <property name="remov…

最近用到阿里云oss，有阿里云服务器，通过代理内网访问可以实现免除OSS流量费，查到很多nginx反向代理的教程，但是纯java实现没有找到，感觉可以试一试。 （一） 首先要解决反向代理的问题，搜到org.mitre.dsmiley.httpproxy.ProxyServlet可解决。 <dependency> <groupId&…