java 频次控制
1. 背景 访问某接口拉取数据,接口需要频次控制,经调研,com.google.common.util.concurrent.RateLimiter可轻易实现。 2. Maven <dependency> <groupId>com.google.guava</groupId> <artifactId>…
python3 easyocr 简单使用识别参数
import easyocr import torch gpu_is_available = torch.cuda.is_available() reader = easyocr.Reader(['ch_sim', 'en'], gpu=gpu_is_available) ocr_data = reader.…
presto 自定义函数简述
背景 presto自带unbase64函数,用法如下。 FROM_UTF8(from_base64(nickname)) 但是有些字符会报错。 Query failed (#20220720_091551_00087_mkhun): Illegal base64 character -1a 所以想要自定义一个unbase64函数。 实施 idea新…
phoenix-client-4.14.1-HBase-1.4.jar jar包冲突解决
项目用到phoenix,使用了这个jar包phoenix-client-4.14.1-HBase-1.4.jar,这个jar包导致的jar包冲突很多,一番摸索,解决了,解决如下。 先jar命令解压jar包,然后删除以下内容。然后在jar命令打成jar包。 rm -r javax/ rm -r com/jayway/ rm -r org/apache…
Apache Kudu 写入数据定期出问题
线上项目出现一个很奇怪的问题,数据经过Spark程序消费Kafka写入Kudu,出现Kudu Master连接超时,这个问题开始排查不出原因,有点头大,只能采用下下策,重启Spark程序,出现过几次后, 我记录了出现的时间,发现每次出现时间有个固定周期,一周,有规律就是最大的好消息,感觉离发现真相不远了,果然网上有这方面的问题讨论,虽说以前也去网上…