一、EventTime // 数据进过清洗过滤后生成水位线 val dsenv.addSource(consumer).map(x>{val sx.split(",")AdData(s(0).toInt,s(1),s(2).toLong)}).assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[AdData](Time.minutes(1)) {over…

一、Trigger 窗口的计算是依赖触发器进行的，每种类型的窗口都有自己的触发器机制，如果用户没有指定，那么会使用默认的触发器。 EventTimeTrigger：通过对比 Watermark 和窗口的 Endtime 确定是否触发窗口计算，如果 Wa…

业务背景：原先有大量数据会去从redis中查询，造成频繁的连接和查询，而且redis中的数据量很小，因此可以采用定时加载维表，将数据加载进每个subtask中。 code： class CommercialAdvRichMapFunction(redisHos…

spark.yarn.executor.memoryOverhead 设置堆外内存，当出现超出物理内存使用，被yarn杀死的情况是，需要合理设置这个值，一般设置2G够用了 spark.sql.shuffle.partitions sparksql的shuffle默认的并行度只有200，要想提高…

spark读取MySQL默认的并行度只有1，即使手动指定了并行度numPartitions，也不会生效，这在读取大表的时候会成为性能瓶颈 想要提高并行度读取MySQL，则需要获取到该表主键的上下界，然后指定numPartitions，程序…

Calendar c new GregorianCalendar();c.setTime( new Date());String s[] c.getTimeZone().getAvailableIDs();for (int i 0; i < s.length; i) {System.out.println(s[i]);}列表如下&#xff1a; Etc/GMT12 Etc/GMT11 MIT Pacific/Apia Pacific/Midway Pacific/Niue Pac…

报错&#xff1a;No versions of servable FM found under base path /models/FM. 解决&#xff1a;model dir下没有版本目录&#xff0c;新建一个dir 1即可。1表示模型的版本号。 目录如下&#xff1a; |- model_dir|- 1|- svaed_model.pb|- variables|- variables.data-00…

嵌入层&#xff08;Embedding Layer&#xff09;是使用在模型第一层的一个网络层&#xff0c;其目的是将所有索引标号映射到致密的低维向量中&#xff0c;比如文本集[[4],[32],[67]]被映射为[[0.3,0.9,0.2],[-0.2,0.1,0,8],[0.1,0.3,0.9]]。该层通常用于文本数据建模。输入数据…