相关文章
Spark UI中Shuffle dataSize 和shuffle bytes written 指标区别
背景
本文基于Spark 3.1.1 目前在做一些知识回顾的时候，发现了一些很有意思的事情，就是Spark UI中ShuffleExchangeExec 的dataSize和shuffle bytes written指标是不一样的， 那么在AQE阶段的时候，是以哪个指标来作为每个Task分区大…
建站知识
2024/11/8 15:29:55
【软考系统架构设计师】2021年系统架构师综合知识真题及解析
本文主要分享2021年下半年系统架构师综合知识历年真题以及本人在做题时的所思所想。题目序号有点混乱，可忽略 【01】.某计算机系统页面大小为4K，进程P1的页面变换表如下图所示，看P1要访问数据的逻辑地址为十六进制1B1AH,那么该逻辑地址经过变…
建站知识
2024/11/27 20:31:00
CMake was unable to find a build program corresponding to “Ninja“
sudo apt install ninja-build
建站知识
2024/11/25 6:02:11
干式电抗器的尺寸和重量对系统有什么影响？
干式电抗器是一种用于电力系统中的无功补偿设备，其尺寸和重量对系统有以下几方面的影响，干式电抗器的尺寸和重量会影响设备的安装和布置，较大尺寸和重量的电抗器需要更大的安装空间，并且可能需要额外的支撑结构。在设计系统时需要…
建站知识
2024/11/22 1:40:41
Linux下复制一个大于1T的文件夹命令
用netcat通过socket把流传送出去就可以搞定了。 需要发送文件的机器:
netcat -l -p 8888 < 1T.file 接收的机器：
netcat x.x.x.x 8888 > 1T.file
文件夹的话前面弄个管道就行了： 发送的机器：
tar -C mytest|netcat x.x.x.x 8888 接…
建站知识
2024/11/26 9:12:27
git clone 遇到了 early EOF index-pack failed 问题
问题
由于仓库包含了很多文件，仓库过大，导致clone的时候一直报错：
解决方案
注意：过程中需要耐心等待，如果遇到失败，可以多尝试几遍。
压缩目标仓库文件
compression 是压缩的意思，从 clo…
建站知识
2024/11/25 7:43:45
Spring Kafka生产者实现
需求
我们需要通过Spring Kafka库，将消息推送给Kafka的topic中。这里假设Kafka的集群和用户我们都有了。这里Kafka认证采取SASL_PLAINTEXT方式接入，SASL 采用 SCRAM-SHA-256 方式加解密。
pom.xml
<dependency><groupId>org.springframew…
建站知识
2024/11/27 13:14:09
Redis数据库管理工具Redis Desktop Manager最新中文
Redis Desktop Manager是一款直观且易用的Redis数据库管理工具，支持Windows、macOS和Linux等多平台。它提供了丰富的功能和工具，使用户可以轻松地创建、编辑、删除和浏览Redis键值对，并执行各种Redis命令。通过SSH Tunnel连接，RDM…
建站知识
2024/11/24 23:54:48
