环境要求:centos7:CentOS Linux release 7.3.1611版本：hadoop-2.7.4，hive-2.1.1，hbase-1.2.6，scala-2.11.12 ，spark-2.2.1hadoop服务部署:参考

文章目录0 前言1 课题背景2 数据处理3 数据可视化工具3.1 django框架介绍3.2 ECharts4 Django使用echarts进行可视化展示（mysql数据库）4.1 修改setting.py连接mysql数据库4.2 导

HIVE配置mysql metastore hive中除了保存真正的数据以外还要额外保存用来描述库、表、数据的数据，称为hive的元数据。这些元数据又存放在何处呢？ 如果不修改配置hive默认使用内置的derby数据库存储元数据。 derb

我们都知道，Elasticsearch作为搜索引擎被广泛应用在各个领域，尤其是电子商务网站和App的检索，如下几乎囊括的商城大部分搜索使用场景查询定义，其中包括：基本查询：简单的查询方式terms：目标列包含指定词(不分词)match：会把

初赛Flume ， Kafka和NiFi阿帕奇水槽 Flume部署由一个或多个配置了拓扑的代理组成。 Flume Agent是一个JVM进程，它承载Flume拓扑的基本构建块，即源，通道和接收器。 Flume客户端将事件发送到源，源将这些事

先决条件：Hadoop是用JAVA写的，所以首先要安装Java。 Linux是唯一支持的生产环境。Unix。Windows或者Mac OS能够作为开发环境。在Windows上安装Hadoop须要Cygwin。而且在Cygwin里要包括ope

一、前言 向广大初学者新增C 、Java 、Python 、Scala、javascript 等目前流行的计算机、大数据编程语言，希望大家以后关注本头条号更多的内容。 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数

什么是gRPCgRPC 已经成为实现需要大规模快速运行的分布式软件系统的一项重要技术。简而言之，gRPC 是一个 API 框架，它允许一个程序在互联网上的一个位置传递数据到另一个位置的另一个程序中的独特函数进行处理。其他 API 框架(如

是不是你每次的数据分析成果都不尽人意？是不是与你自己的设想相差甚远？在大数据时代的到来使人类的认识变得更精确系统、更全面广泛、更快速有效。然而面对各种数据源收集来的海量数据，究竟如何对其进行归类、计算、建模和解释，却需要高超的智慧。因数据本

更大宽带、更高网速、更低延时，完美契合大接入量、反馈及时、稳定可靠的物联网场景需求。计讯物联5G工业物联网路由器支持数据采集、数据传输、数据计算分析、远程控制等功能，广泛应用于工业自动化、制造业、运输业、能源、建筑业、采掘业自动驾驶、远程医

一、概述Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎，它基于 Lucene 实现了强大的全文检索功能。本文针对一个通用的应用场景，讲解如何利用 ElasticSearch 快速实现对关系型数据库文本和

作者：Sky.Jian(简朝阳) 一些英文缩写的含义：Nosql: not only sqlOLTP：联机事务处理OLAP：联机分析处理去IOE：摆脱掉IT部署中原有的IBM小型机、Oracle数据库以及EMC存储的过度依赖接前面一篇，这

flume是实时收集的一种大数据框架sqoop是一个数据转换的大数据框架，它可以将关系型数据库，比如mysql,里面的数据导入到hdfs和hive中，当然反过来也可以一、Flume的搭建　　1、将optsoftware目录下的flume安装

一、安装VMware12、CentOS7：1、VMware 12 专业版永久许可证密钥：5A02H-AU243-TZJ49-GTC7K-3C61N2、安装Centos7：2.1、创建新的虚拟机：典型（推荐）—稍后安装操作系统—Linux(L

Kafka连接器是Apache Kafka®的一部分，提供数据存储与Kafka之间的流式集成。对于数据工程师来说，只需要使用JSON格式配置文件即可。目前已经有很多数据存储的连接器，仅举几例来说，包括JDBC，Elasticsearch，I

一、Elasticsearch写人数据的过程1）客户端选择一个node发送请求过去，这个node就是coordinating node（协调节点）2）coordinating node，对document进行路由，将请求转发给对应的node

一、重要文档Help文档：https:help.aliyun.comdocument_detail50067.html?spm=5176.7947010.779804.ee.2cb734f4QtWXqx二、技术架构1、产品概述分布式关系型数

elasticsearch教程 注意： 1、elasticsearch的rest默认端口为9200，客户端的默认端口为9300，也就是，java编程连接的端口为9300命令模式：curl -<REST Verb>

一、前言我们在修改索引的mapping后，为了不影响线上的服务，一般需要新建索引,然后刷新数据过去，然而新索引的数据是否正常，跟旧索引数据比起来差异在哪里，这块总是难以验证。有幸参考大佬的文章，具体实施了以下两个方案，对比新旧索引的数据，大

目录序言一. kafka的数据源1.1 json1.1.1 flink sql ddl1.1.2 数据准备1.1.3 开启sql-client1.1.4 代码1.1.6 配置1.2 debeizum-json1.2.1 flink sql1