PME-Blog

自由撰写
难得自在

大数据

大数据

Apache Kudu 写入数据定期出问题

hpkaiq 阅读(245) 评论(0)

线上项目出现一个很奇怪的问题,数据经过Spark程序消费Kafka写入Kudu,出现Kudu Master连接超时,这个问题开始排查不出原因,有点头大,只能采用下下策,重启Spark程序,出现过...

大数据

spark yarn cluster模式下log4j日志的配置

hpkaiq 阅读(356) 评论(0)

最近线上的spark项目日志文件急剧增加,磁盘顶不住了啊,解决日志文件问题,参考下面三篇文章,基本就可以搞明白了。1:【Spark】Spark日志过大导致磁盘溢出问题解决方案2:spark日志配...