2019-06-10 hpkaiq 阅读(790) 评论(1)

线上项目出现一个很奇怪的问题，数据经过Spark程序消费Kafka写入Kudu，出现Kudu Master连接超时，这个问题开始排查不出原因，有点头大，只能采用下下策，重启Spark程序，出现过几次后， 我记录了出现...

2019-05-06 hpkaiq 阅读(1182) 评论(0)

最近线上的spark项目日志文件急剧增加，磁盘顶不住了啊，解决日志文件问题，参考下面三篇文章，基本就可以搞明白了。1：【Spark】Spark日志过大导致磁盘溢出问题解决方案2：spark日志配置及问题排查方式。3：...

2019-04-29 hpkaiq 阅读(1619) 评论(0)

转载自网络，不保证可用性及是否拥有版权，仅供分享，如有法律纠纷，请联系删除。国内网站1、鸠摩搜书网址：https://www.jiumodiary.com/一个强大的搜书神站，无论是什么类型的书籍，只要你知道书名，就...

2019-04-18 hpkaiq 阅读(2113) 评论(0)

配置好下面三个属性。<!-- 超过时间限制是否回收 --> <property name="removeAbandoned" value="true" /...

2019-03-29 hpkaiq 阅读(1070) 评论(0)

最近用到阿里云oss，有阿里云服务器，通过代理内网访问可以实现免除OSS流量费，查到很多nginx反向代理的教程，但是纯java实现没有找到，感觉可以试一试。（一）首先要解决反向代理的问题，搜到org.mitre.d...