作者: hpkaiq

16 篇文章

spark 实现 mysql upsert
实现 spark dataframe/dataset 根据mysql表唯一键实现有则更新,无则插入功能。 基于 spark2.4.3 scala2.11.8 工具类 DataFrameWriterEnhance package com.xxx.utils import org.apache.spark.sql.catalyst.plans.logi…
java 频次控制
1. 背景 访问某接口拉取数据,接口需要频次控制,经调研,com.google.common.util.concurrent.RateLimiter可轻易实现。 2. Maven <dependency> <groupId>com.google.guava</groupId> <artifactId>…
python3 easyocr 简单使用识别参数
import easyocr import torch gpu_is_available = torch.cuda.is_available() reader = easyocr.Reader(['ch_sim', 'en'], gpu=gpu_is_available) ocr_data = reader.…
presto 自定义函数简述
背景 presto自带unbase64函数,用法如下。 FROM_UTF8(from_base64(nickname)) 但是有些字符会报错。 Query failed (#20220720_091551_00087_mkhun): Illegal base64 character -1a 所以想要自定义一个unbase64函数。 实施 idea新…
phoenix-client-4.14.1-HBase-1.4.jar jar包冲突解决
项目用到phoenix,使用了这个jar包phoenix-client-4.14.1-HBase-1.4.jar,这个jar包导致的jar包冲突很多,一番摸索,解决了,解决如下。 先jar命令解压jar包,然后删除以下内容。然后在jar命令打成jar包。 rm -r javax/ rm -r com/jayway/ rm -r org/apache…