最近在使用ArcGIS进行数据处理过程中，发现有些功能用现有工具无法实现，比如批量修改拓扑错误，在网上搜了下，需要自定义开发，于是琢磨了下ArcGIS的插件。这里记录最简单的插件实现案例，具体功能代码可以自由发挥。ArcGIS 插件（Ad

Scala版本WordCount项目目录结构如下: 在项目目录data下创建要统计词频的文件words.txt 新建Scala版的WordCount程序import org.apache.spark.rdd.RDDimport org.ap

因为事务需要实现ACID，即原子性、一致性、隔离性、持久性，所以需要采用一定的机制来保证，通常采用的是分阶段提交的方式。XA:XA协议，规定事务管理器和资源管理器接口，采用二阶段提交协议。一阶段提交协议一阶段提交协议相对简单，如下图：当然，

一、Spark运行架构1.基本概念*  RDD：是弹性分布式数据集（Resilient Distributed Dataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型；*  DAG：是Directed Ac

Wails作为一个使用Golang开发跨平台桌面端的框架，几乎是目前Gopher唯一的选择，当然也有其他框架可选，但是个人感觉都不太成熟。本人使用Wails开发TinyRDM不知不觉已有半年，现就这段接触使用时间来做个大概总结分享。优点1.

读SQL学习指南（第3版）笔记10_元数据与大数据.png1.元数据1.1.metadata1.2.关于数据的数据1.3.数据字典1.3.1.⒅与外键关联的数据表列1.3.2.⒄外键列1.3.3.⒃外键名1.3.4.⒂存储索引的信息1.3

0.Spark生态系统Spark内部提供了丰富的开发库，集成了数据分析引擎SparkSQL、图计算框架GraphX、机器学习库MLlib、流计算引擎SparkStreaming。Spark生态系统.png(1),Spark生态系统分层数据存

【Flink】浅谈Flink架构和调度Flink架构Flink是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如【HadoopYARN】、【ApacheMesos】和【Kubernetes

什么是Hadoop？它的核心组件是什么？Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它设计用于解决大数据处理问题，通过将数据分布在集群中的多台计算机上进行并行处理，以实现高效的数

一、运行流程当用户提交完job之后，就交给分发器，分发器就会启动并将应用移交给一个JobManager去做管理JobManager是整个调度的核心，启动它并把当前应用提交。JobManager会对当前任务进行分析需要多少个task任务，需要