原文链接：https://blog.csdn.net/hiwallace/article/details/81333604?utm_mediumdistribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2.control&depth_1-utm_sourcedistribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2.control 综述 　　…

运行TensorFlow任务报错： terminate called after throwing an instance of std::system_errorwhat(): Resource temporarily unavailable Fatal Python error: AbortedThread 0x00007fcef30a7740 (most recent call first):File "/usr/lib/python3.7/site-p…

1.执行$KYLIN_HOME/bin/check-env.sh 错误内容：找不到 hive-site.xml 文件根本原因：check-env的过程中执行的是以下脚本：find-hadoop-conf-dir.sh，find-hbase-dependency.sh，find-hive-dependency.sh，find…

一、EventTime // 数据进过清洗过滤后生成水位线 val dsenv.addSource(consumer).map(x>{val sx.split(",")AdData(s(0).toInt,s(1),s(2).toLong)}).assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[AdData](Time.minutes(1)) {over…

一、Trigger 窗口的计算是依赖触发器进行的，每种类型的窗口都有自己的触发器机制，如果用户没有指定，那么会使用默认的触发器。 EventTimeTrigger：通过对比 Watermark 和窗口的 Endtime 确定是否触发窗口计算，如果 Wa…

业务背景：原先有大量数据会去从redis中查询，造成频繁的连接和查询，而且redis中的数据量很小，因此可以采用定时加载维表，将数据加载进每个subtask中。 code： class CommercialAdvRichMapFunction(redisHos…

spark.yarn.executor.memoryOverhead 设置堆外内存，当出现超出物理内存使用，被yarn杀死的情况是，需要合理设置这个值，一般设置2G够用了 spark.sql.shuffle.partitions sparksql的shuffle默认的并行度只有200，要想提高…

spark读取MySQL默认的并行度只有1，即使手动指定了并行度numPartitions，也不会生效，这在读取大表的时候会成为性能瓶颈 想要提高并行度读取MySQL，则需要获取到该表主键的上下界，然后指定numPartitions，程序…