相关文章
spark：一些概念如并行度、分区数、task，stage等
定义: 并行度是指Spark任务可以同时执行的子任务（Task）的数量。
分区数: 一个RDD（弹性分布式数据集）被分成多个分区，每个分区对应一个Task。
因此，分区数直接决定了并行度的上限。这是因为如果分区数小于…
建站知识
2024/12/16 10:22:22
git笔记之重置本地仓库所有分支和远程保持一致、工作区恢复干净，像刚clone下来一样
git笔记之重置本地仓库所有分支和远程保持一致、工作区恢复干净，像刚clone下来一样 code review! 文章目录 git笔记之重置本地仓库所有分支和远程保持一致、工作区恢复干净，像刚clone下来一样1.实现该功能的 Bash 脚本示例2.改进版：增加了gi…
建站知识
2024/12/16 8:04:30
**CentOS7安装Maven**
CentOS7安装Maven 首先先解压压缩包apache-maven-3.9.9-bin.tar.gz
tar -xvf apache-maven-3.9.9-bin.tar.gz解压完毕后配置环境变量
vim /etc/profile在环境变量配置文件中加入这句话
#Maven
export MAVEN_HOME/opt/soft/maven362 //换成自己的路径
export PATH$PATH:$JAVA…
建站知识
2024/12/17 9:18:30
scrapy爬虫基础
一、初识
创建项目：
scrapy startproject my_one_project # 创建项目命令
cd my_one_project # 先进去， 后面在里面运行
运行爬虫命令为：scrapy crawl tk
spiders下创建test.py 其中name就是scrapy crawl tk &…
建站知识
2024/12/17 12:52:14
关于主流电商API接口的测试及返回【douyin电商SKU接口】
抖音获取抖音商品原数据 API 返回值说明
公共参数 名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_sho…
建站知识
2024/12/16 10:45:41
_kaic)
隧道灯光远程控制系统的设计与实现(论文+源码)_kaic
摘要 随着互联网的发展，物联网的时代己经到来。无线控制技术的应用已经普及到了我们生活中的各个角落。节能环保的意识也在不断的加强，隧道照明作为隧道建设的一个主要的环节，一个好的隧道照明系统不仅仅能保障隧道车辆的正常通行，…
建站知识
2024/12/17 3:22:32
东方的“易”并不仅仅是“Changes”
《易经》（“易”，音同“亦”）简称《易》，又称《周易》，是中国最古老的文献之一，相传为周文王所著，成书于周代，故而称呼《周易》。实际《易经》是在中国历史中逐渐演化完成的一门学问…
建站知识
2024/12/21 4:22:47
