摘要：本文整理自小米软件开发工程师金风在 Flink Forward Asia 2021 流批一体专场的演讲。本篇内容主要分为四个部分： 小米的大数据发展演变 流批一体的平台建设 流批一体应用场景 未来规划 一、小米的大数据发展演变 2019 年之前，小米的…

目录 一、什么是湖仓一体 二、湖仓一体架构的特点 三、常见框架 1、Apache Hudi 2、Apache Iceberg 3、Delta Lake 数据库早已解决了数据问题，但无法满足现代使用场景和作业的需求。数据湖的出现是为了规避数据库的局限性，Spark 是构建数据湖的最佳…

ESB企业服务总线是企业信息化集成过程中一项重要工具，作为集成龙骨满足应用、数据和业务等集成需要，应用集成如统一认证、单点登录等主要实现业务系统间的对接；数据集成如主数据治理和数据分析等，通过ESB实现数据的据聚合以及分发…

问题导读1.什么是数据仓库、数据集市和数据湖？2.湖仓一体化为什么诞生？3.湖仓一体化是什么？4.湖仓一体化的好处是什么？0.沃尔玛纸尿裤和啤酒在了解湖仓一体化之前，我们先来看一则有关数据仓库的有趣故事吧~沃尔玛拥有世…

目录 当我们谈论批流一体，我们在谈论什么？一、流计算与批计算 一）流计算与批计算二）流计算与批计算的比较三）为什么要搞流批一体二、流批一体的场景 一）数据集成的流批一体二）数仓架构的流批一…

前言 本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据理论体系 WHAT 湖仓一体（Lakehouse）是…

一、前言 我们大家应该都知道如何在 Linux 中查看文件，比如可以使用 cat 或者 less 命令。 这对于查看静态文件来说是可以的；日志文件是动态的，其内容随时会变化，要监测日志文件，需要在日志文件内容改变时也能实时看到…

Weston 支持在 weston.ini 配置文件的 shell 段设置状态栏的背景色、位置,以及在 launcher 段设置快捷启动程序，修改文件系统的/etc/xdg/weston/weston.ini 文件，如下所示： [shell] # 颜色格式为 ARGB8888 panel-color0xff002244 # top|…