kudu-spark KuduContext java.io.InvalidClassException 解决
背景:
线上kudu 集群版本为1.11.0版本, spark 使用 kudu-spark2_2.11-1.7.0.jar,
为了使用新版本中的
val wo = new KuduWriteOptions(ignoreNull = true)
特性,升级至 kudu-spark2_2.11-1.11.0.jar 版本,但是报错。
背景:
线上kudu 集群版本为1.11.0版本, spark 使用 kudu-spark2_2.11-1.7.0.jar,
为了使用新版本中的
val wo = new KuduWriteOptions(ignoreNull = true)
特性,升级至 kudu-spark2_2.11-1.11.0.jar 版本,但是报错。
项目用到phoenix,使用了这个jar包phoenix-client-4.14.1-HBase-1.4.jar,这个jar包导致的jar包冲突很多,一番摸索,解决了,解决如下。
最近用到阿里云oss,有阿里云服务器,通过代理内网访问可以实现免除OSS流量费,查到很多nginx反向代理的教程,但是纯java实现没有找到,感觉可以试一试。