前言大数据领域“SQL化开发”的风气方兴未艾，这是因为SQL是一种通用、学习成本低的语言，并且还有较强的数据描述能力。不少大数据框架早已支持了SQL化开发，如Spark、Flink、Kafka等。之前笔者操刀的多数Spark程序都是用传统的

一 Spark 简介1 什么是 Spark1.1 Spark是一种快速 通用 可扩展的大数据分析 计算引擎 ,大数据处理框架 .1.2 Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中

　　众所周知，Yarn是大数据核心调度组件，其使用覆盖率非常高。在“Hadoop是否已失宠”的选题调研中，不少专家都对Yarn这一核心组件的生命力表达了自己的看法。 　　阿里云技术专家封神认为，Yarn在离线与在线数据混合方面表现欠佳，但这

作者：hazenweng，MongoDB 作为一款优秀的基于分布式文件存储的 NoSQL 数据库，在业界有着广泛的应用。下文对 MongoDB 的一些基础概念进行简单介绍。1 MongoDB 特点面向集合存储：MongoDB 是面向集合的，

hive数据仓库数据仓库的主要特征数据仓库与数据库的区别数据仓库分层架构数据仓库元数据管理hive基本概念hive基本概念hive架构hive的数据存储hive安装derby版hive直接使用使用mysql共享hive元数据安装mysql

1）笛卡尔集会在下面条件下产生（1）省略连接条件（2）连接条件无效（3）所有表中的所有行互相连接2）案例实操 hive (default)> select empno, dname from emp, dept;4 排序4.1

一、前期工作：1.修改linux ip手动修改也可以命令修改vimetcsysconfignetwork-scriptsifcfg-eth02.修改主机名(注意ubuntu版本方式)vimetcsysconfignetwork将之前的名字更

HBase允许的最大行数HBase是一个分布式、可扩展、高性能的列式数据库系统，常用于大数据存储和实时查询场景。作为一个NoSQL数据库，HBase在设计之初就考虑了处理大规模数据集的需求。在HBase中，行被组织成表，并且每一行都有一个唯

什么是hive pid dir？在Hadoop生态系统中，Hive是一个用于数据仓库的数据查询和分析工具。Hive建立在Hadoop的基础之上，允许用户在Hadoop集群上执行SQL查询。在Hive中，pid dir（进程标识目录）是一个重

鲲鹏搭建ambari以及项目部署说明1.介绍Ambari是Apache Software Foundation中的一个顶级项目，它可以创建、管理、监视Hadoop整个生态圈（例如Hive，Hbase，Sqoop，Zookeeper等）的集群

目录1.使用scala读取文件，生成hfile，bulkload2.展示一下java代码，不如scala快3.暂时认为最靠谱的put批量操作如果你支持scala，恭喜你，很容易一般写spark程序，文件路径都设置成hdfs路径，不容易报错

1.什么是元数据元数据是描述数据的数据，它提供关于数据的信息，帮助人们理解和管理数据。元数据可以包括各种信息，如数据的来源、格式、结构、含义、关系以及处理方式等。在计算机科学和信息管理领域，元数据通常用于描述和组织数据资源，以便更好地管理和

1、什么是HiveHive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。2、Hive的本质将 HQL

文章目录一、实战概述二、实战步骤（一）创建学校数据库（二）创建省市分区的大学表（三）在本地创建数据文件1、创建四川成都学校数据文件2、创建四川泸州学校数据文件3、创建江苏南京学校数据文件4、创建江苏苏州学校数据文件（四）按省市分区加载学校

一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想，只有很少量特点是Scala自己独有的

用eclipse编程实现对hbase中表的数据的增加用eclipse编程实现对hbase中表的数据的增加先启动hadoop，之后启动hbase在其中添加一个study的表，查看study的内容显示无内容创建一个新的java project，

【HBase-Mysql】HBase数据和Mysql数据的相互迁移1）准备工作1.1.修改sqoop-env.sh中的配置文件1.2.在MySQL中添加测试数据2）MySQL数据导入到hbase中2.1.方式一2.1.1.使用sqoop直

docker6_搭建spark集群1、安装spark2、配置spark3、Standalone-HA4、Spark-On-Yarn 链接: 基于CentOS 8镜像的spark集群搭建连接进入node1容器docker exec -it

一、上传数据二、下载数据三、读写时的节点位置选择1.网络节点距离（机架感知）下图中：client 到 DN1 的距离为 4client 到 NN 的距离为 3DN1 到 DN2 的距离为 22.Block 的副本放置策略NameNode 通

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一、虚拟机安装Centos71.准备工作2.centos7安装过程3.关闭防火墙(关键)二、安装jdk1.卸载镜像自带jdk2.安装自己的jdk3.配置