sqoop mysql update AUTO_INCREMENT 自增主键重复增长问题
sqoop export \ --update-key unique_index_columns \ --update-mode allowinsert 问题描述: 用上述模式 sqoop 导入数据更新 mysql 数据,无论导入的数据与mysql里数据相比有没有更新,mysql表的 AUTO_INCREMENT 的PRIMARY KEY 例如 (…
2021-12-17 14:26
|
1,046
|
|
183 字
|
1 分钟内
脚本执行spark-shell scala文件退出
脚本 #! /bin/bash source /etc/profile set +o posix # to enable process substitution when not running on bash scala_file=$1 shift 1 arguments=$@ ##### scala 文件后加 sys.exit spark-s…
2021-12-17 14:24
|
759
|
|
58 字
|
2 分钟
kudu-spark KuduContext java.io.InvalidClassException 解决
背景: 线上kudu 集群版本为1.11.0版本, spark 使用 kudu-spark2_2.11-1.7.0.jar, 为了使用新版本中的 val wo = new KuduWriteOptions(ignoreNull = true) 特性,升级至 kudu-spark2_2.11-1.11.0.jar 版本,但是报错 java.io.In…
2021-12-17 14:22
|
917
|
|
473 字
|
3 分钟
phoenix-client-4.14.1-HBase-1.4.jar jar包冲突解决
项目用到phoenix,使用了这个jar包phoenix-client-4.14.1-HBase-1.4.jar,这个jar包导致的jar包冲突很多,一番摸索,解决了,解决如下。 先jar命令解压jar包,然后删除以下内容。然后在jar命令打成jar包。 rm -r javax/ rm -r com/jayway/ rm -r org/apache…
2021-12-17 14:21
|
836
|
|
108 字
|
1 分钟内
spark 读取 hive date 分区表 奇怪的报错
当 hive 表的分区字段 是 date 类型时,用如下方式读取会发生报错。 val targetDay = "2020-08-20" spark.read.table(tableName) .where(s"targetday in (" + s"date_sub('$targetDay…
2021-12-17 14:21
|
785
|
|
112 字
|
2 分钟
Apache Kudu 写入数据定期出问题
线上项目出现一个很奇怪的问题,数据经过Spark程序消费Kafka写入Kudu,出现Kudu Master连接超时,这个问题开始排查不出原因,有点头大,只能采用下下策,重启Spark程序,出现过几次后, 我记录了出现的时间,发现每次出现时间有个固定周期,一周,有规律就是最大的好消息,感觉离发现真相不远了,果然网上有这方面的问题讨论,虽说以前也去网上…
2021-12-17 14:20
|
845
|
|
224 字
|
1 分钟内
spark yarn cluster模式下log4j日志的配置
最近线上的spark项目日志文件急剧增加,磁盘顶不住了啊,解决日志文件问题,参考下面三篇文章,基本就可以搞明白了。 1:【Spark】Spark日志过大导致磁盘溢出问题解决方案 2:spark日志配置及问题排查方式。 3:Spark log4j 日志配置详解 以上内容转载自网络,如有侵权,请联系删除。
2021-12-17 14:19
|
616
|
|
119 字
|
1 分钟内
五十个电子书搜索网
转载自网络,不保证可用性及是否拥有版权,仅供分享,如有法律纠纷,请联系删除。 国内网站 1、鸠摩搜书 网址:https://www.jiumodiary.com/ 一个强大的搜书神站,无论是什么类型的书籍,只要你知道书名,就可以轻松的搜到你想要书籍。页面简单明了,书籍种类繁多,格式多种多样,有mobi格式、pdf格式、word格式、txt格式等。关…
2021-12-17 14:19
|
484
|
|
4267 字
|
17 分钟
阿里Druid连接池连接不释放、连接泄漏排查
配置好下面三个属性。 <!-- 超过时间限制是否回收 --> <property name="removeAbandoned" value="true" /> <!-- 超时时间;单位为秒。180秒=3分钟 --> <property name="remov…
2021-12-17 14:18
|
846
|
|
67 字
|
1 分钟内
spring cloud java反向代理访问阿里云OSS私有资源
最近用到阿里云oss,有阿里云服务器,通过代理内网访问可以实现免除OSS流量费,查到很多nginx反向代理的教程,但是纯java实现没有找到,感觉可以试一试。 (一) 首先要解决反向代理的问题,搜到org.mitre.dsmiley.httpproxy.ProxyServlet可解决。 <dependency> <groupId&…
2021-12-17 11:56
|
464
|
|
329 字
|
8 分钟