引言：把基于mapreduce的离线hiveSQL任务迁移到sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sparkSQL，这里做个简单的记录和分享，本文偏重于具体条件下的…

在过去一年有很多 Apache 孵化项目顺利毕业成顶级项目（Top-Level Project ，简称 TLP ），在这里我将给大家盘点 2020 年晋升为 Apache TLP 的大数据相关项目。在2020年一共有四个大数据相关项目顺利毕业成顶级项目，主要是…

1.spark和hive版本要求 spark1.4.0 hive-0.13.0（注意：不要使用hive0.14版本用于集成，否则会出很多问题） 2、集群规划(hadoop 采用伪分布式） 2.1 hadoop 伪分布式安装规划（同hadoop集群模式一样）…

原题链接：整齐的数组 - 题目 - Daimayuan Online Judge 解题思路：首先我们考虑不输出-1的情况。假设所有的数字都减到数组中最小的值，那么所有的差（不包含0）的最大公因数就是我们所需的值。那么肯定有人要问了&#x…

2020 PostgreSQL亚洲大会组委会特别推出嘉宾系列专访，本期我们邀请到了阿里云数据库高级产品专家韩国盛。他将在11月20日中文分论坛频道09:00-09:40时间段带来《PG去O实践：三座大山，三点心得》分享。 韩国盛 | 阿里云数据库高级产品专家 Q1&…

2019年5月8日-5月10日，由国内知名IT技术社区主办的数据库技术交流盛会——DTCC 2019在北京新云南皇冠假日大酒店召开。数据风云，十年变迁，DTCC见证并铭记了国内数据库技术的关键成长历程。作为DTCC的老朋友和全球领先的云计算厂商&#xff0c…

http://db365.net/home.php?modspace&uid19本博客已经迁移到www.db365.net，欢迎访问 【数据中国大讲坛】每周三晚八点半在YY频道85536471免费讲解数据库与商业智能BI相关知识。相关资料请从QQ群10151262下载。 对讲座有什么意见，不管是形式或者内…

2020 PostgreSQL亚洲大会组委会特别推出阿里云数据库嘉宾系列线上专访，第六期我们邀请到了阿里云数据库高级技术专家王旭。他将在11月17日阿里云数据库培训专场14:10-14:50时间段带来《DTS及其在PG数据库生态中的应用》分享。 王旭 | 阿里云数据库高级技术专家 Q1&…