SQL Expression url = profile + "#share1.schema1.table1" delta_sharing.load_as_pandas( url, predicateHints=['year >= 2016', 'year <= 2017'] ) JSON Expression url = profile + "#sh...

如下，使用float_format参数 df.to_csv('df.csv', float_format='{:f}'.format, encoding='utf-8') refer: https://stackoverflow.com/questions/22995762/pandas-to-csv-suppress-scientifi...

Azure Eventhub的eventhub api是没有lag监控提供的。我们希望通过Eventhub兼容的Kafka协议，进行offset信息的获取： public class EventhubKafkaConsumerAdminDemo { private static final S...

根据微软客服的回答： 经与技术确认，关于blob last access tracking 的介绍请参考https://azure.microsoft.com/en-us/updates/azure-blob-storage-last-access-time-tracking-now-generall...

CubeFS 是国内首个云原生开源分布式存储产品,2019 年开源并捐赠托管至云原生计算基金会(CNCF),2020 年 10 月 OPPO 开始主导 CubeFS 社区运营与版本迭代,累计发布 7 个 release 版本。在 OPPO...

Spark作为服务使用，方案有：SparkJobServer，Zepplin，Livy，Linkis。 第一：Linkis和zeepelin和Zeppelin的Interpreter再计算引擎部分是有相似之处的，Linkis的作业服务可以完全对Livy和Zep...

三种方法实现斐波那契数列： import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; public class dpTest { public static void main(Strin...

根据需求，调研了一下规则引擎。对规则引擎有个大体的了解，但是了解了之后发现，这不就是if-else的升级版吗？其实规则引擎确实是，但是，它是一个抽象的，动态配置的规则引擎。也就是说，i...

List 类的Stream处理： List list = new ArrayList(); list.add("djk"); list.add("djk1"); list.add("djk12"); // map list = list.stream().map(item->item.toUpperCase()).c......

编译Apache Atlas有个比较蛋疼的地方，就是有个叫frontend-maven-plugin 的plugin依赖node.js 和 npm环境。 默认的pom配置，是需要frontend plugin在网上下载的。由于一些不可描述的原因，我...

https://docs.cloudera.com/documentation/enterprise/5-8-x/topics/impala_resource_management.html https://blog.csdn.net/silentwolfyh/article/details/83549202 0440-如何启用Impala的...

我的情况跟这篇blog情况几乎相似。 https://www.jianshu.com/p/d2e711862e24 后来查证结果是，由于我们的Cloudera Manager集群使用了Kudu，并对Kudu进行了监控和采集。CDH manager对于Kudu的...

关于Kafka-Connect: (1） 是否可以动态添加已有数据的新表？ 不可以，Kafka-Connect需要配置先行。如果是已有数据的新表，无法通过修改已有的kafka-connect配置进行新表的Snapshot初始化。 ...

# 增加X自然天 select days_add(now(),2) 字符串转Timestamp select to_timestamp('2019-10-14 20:00:01', 'yyyy-MM-dd HH:mm:ss'); 注意，Impala的timestamp的标准是 ISO 8601 参考：https...

这个该死的问题查了我整整3天，差点就放弃了。kettle用的人不多，文档也不太全，源码又重又大。 需求是从Impala用SQL读取数据，写入MYSQL。 环境是： pdi-ce-7.0.0.0-25 Linux： CentOS7 连接...

解决Kafka-Connect History 数据过大的情况： 由于History存放是表结构变更的数据，而且过期时间为无限，所以时间久了，History的topic会变得非常大。 首先，配置 database.history.store.o...

安装kudu-python包参照官方文档： https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/kudu_development.html To install the Kudu Python client: Update all the packages...

Kudu的时间戳类型，在Impala建表上用的是timestamp， 有2个与众不同的地方。 1. 在Kudu里它存的时间戳是纳秒级别，所以你普通的时间戳存进去需要*1000。 2. 另外，Kudu的时间戳里面存的是，U...

文档中没有写的一个参数，snapshot.new.tables 可以新增snapshot表 public static final Field SNAPSHOT_NEW_TABLES = Field.create("snapshot.new.tables") ......

Snapshot Reader 有点问题。我们在测试环境测试Snapshot 是OK的。 但是当数据量变大，以及，数据量变多，Snapshot Reader反而 没有达到预期的效果。 因此，我们将同步方案改为三步： 1. 开启...