说明：本文为《Flink大数据项目实战》学习笔记1. 快速生成Flink项目1.推荐开发工具idea+maven+git2.推荐开发语言Java或者Scalahttps:ci.apache.orgprojectsflinkflink-doc

简介什么是Hadoop?hadoop中有3个核心组件 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算 分布式资源调度平台：YARN —— 帮

github : BosunBosun中文指南Bosun是由Stack Exchange团队打造的一套基于时间序列的监控预警系统，本系统开源并遵守MIT协议。Bosun拥有非常强大的表达式语言，能够灵活地定义预警规则以及展示预警通知。同时B

官方文档：https:www.elastic.coguidecnelasticsearchguidecurrentindex.html9.基本使用ES 是RESTful 风格的系统，所以我们需要先掌握RESTful 的四个关键词：PUT（修

整理了工作中常用到的大数据工具的简单介绍。【zookeeper】—— 分布式应用程序协调服务ZooKeeper是一个分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它为分布式应用提供一致性服务，提供的功能包括：配置维护、域名服

1、先了解下OLTP与OLAP区别OLTP(OnLine Transaction Processing ，联机事务处理)系统例如mysql。擅长事务处理，在数据操作中保持着很强的一致性和原子性 ，能够很好的支持频繁的数据插入和修改 ，但是，

微服务架构 自动化测试框架 而且，这就是我说的部分，“哇，内莉。 技术债务是不是故事的一部分？ 为什么有人会关心您如何照顾代码库？ 还是自动化测试基础架构基础？ 为什么有人会关心您如何管理系统？ 您不是负责环境吗？”通常会有一个震惊的沉默。

一、是么是 dubbo？一、dubbo？1.因为项目之间需要相互调用，达到某种预期的结果1.1 restful？门户网站必须要知道用户的登录状态，但是用户的登录状态在登录项目中，所以门户网站必须要请求登录项目获取用户的登录状态，使用的res

本系列每篇文章都是从一些实际的 case 出发，分析一些生产环境中经常会遇到的问题本文主要分为两部分：第一部分（第 1 - 3 节）的分析主要针对 flink，分析了 flink 天级别窗口的中存在的时区问题以及解决方案。第二部分（第 4

文章目录2 实现效果3 Django框架4 VUE最后 # 1 课题背景随着计算机技术的不断发展，越来越多智能手段代替了传统依靠大量人力、物力才能解决的问题。目前，Java认证、DB2认证、全国计算机等级考试等均采用了在线考试的方式进行。

在测试的过程中，无法避免的需要做一些性能压测，造数据的时长在此时就会备受关注。比如，造数据的时候用多线程还是多进程，用直接插入DB方式还是用先写文件后导入mysql的方式，写文件是写批量sql后面source导入，还是写文本格式后面loa

1、大数据： 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 2、大数据的5V特点（IBM提出

一、ELFK集群部署（Filebeat+ELK）ELFK= ES + logstash+filebeat+kibana实验环境服务器类型系统和IP地址需要安装的组件硬件方面node1节点192.168.6.155JDK、elasticsea

一、背景：目前，在做项目时，遇到使用oracle数据库进行大表查询分析时，查询比较慢，而且随着表数据逐渐积累，数据量过亿(按月估计)。架构师针对几个关键要点(非实时数据、核心场景查询分析、对事务要求低、数据量极大、结构化数据)分析后建议考虑

StreamSets总体介绍StreamSets是国外一家致力于数据处理与分析的大数据解决方案的公司。公司主要选择DataOps发展路线，解决将数据转化为业务价值的重大挑战。至于为什么选择DataOps这条路子，有兴趣的同学可以查看http

目录背景生产配置优化参数详解后记背景优化背景：基于 elasticsearch-5.6.0机器配置：3 个阿里云 ecs 节点，16G，4 核，机械硬盘优化前，写入速度平均 3000 条s，一遇到压测，写入速度骤降，甚至 ES 直接频率 G

1、介绍官方宣布从6.8和7.1开始，免费提供多项安全功能。其中包括tls加密通信，基于角色访问控制等功能。 可以使用企业CA证书来完成这一步骤，但是一般情况下，我们可以通过elasticsearch自带的elasticsearch-cer

在使用前同样需要加入elasticsearch-hadoop-2.3.4.jar依赖，具体请参见前文介绍。我们先在Hive里面建个名为iteblog的表，如下：CREATE EXTERNAL TABLE iteblog (idbigint,

文章目录前言1. Kafka概述1.1 定义1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种模式1.3 Kafka 基础架构参考资料 前言本文主要通过对B站Kafka视屏的学习，记录要点作为笔记，以备快速回顾和

在我们的许多开发的应用中，有许多的日志生成。我们可以使用 Beats 或者 Logstash 来收集这些日志，并最终发送至 Elasticsearch。这些日志信息为我们对这些应用的可观则性提供了可能。如果应用生成的日志满足 ECS，那么它