摘要：Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 Data

前言Flink 1.10与1.9相比又是个船新版本，在我们感兴趣的很多方面都有改进，特别是Flink SQL。本文用根据埋点日志计算PV、UV的简单示例来体验Flink 1.10的两个重要新特性，一是SQL DDL对事件时间的支持，二是Hi

一、运行流程当用户提交完job之后，就交给分发器，分发器就会启动并将应用移交给一个JobManager去做管理JobManager是整个调度的核心，启动它并把当前应用提交。JobManager会对当前任务进行分析需要多少个task任务，需要

本篇先介绍流中的数据，再通过一个完整的案例，介绍流处理应用中的几个重要组成部分。流里面是什么Flink的DataStream API可以基于Java或Scala编写，流内部支持很多种类型，比如Java的基础类型，如String、Long、I

一，概述Flink 的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数。由于是迭代计算方式，所以，在窗口处理过程中，不用缓存整个窗口的数据，所以效率执行比较高。二，AggregateFunction接口类输入类

6. TaskManager在集群启动过程中起到什么作用？TaskManager的启动流程较为简单： 启动类：org.apache.flink.runtime.taskmanager.TaskManager 核心启动方法 ： selectN

FLink-10-Flink相关概念-并行度tasksubtasktaskslotFlink相关概念-并行度tasksubtasktaskslot1.并行度2.task 与算子链（operator chain）相关概念：3.相关API介绍

整个系列的目录如下：<一>Flink简介<二>Flink快速上手<三>Flink 部署<四>Flink 运行时架构&lt

目录测试用sourceJDBCsource读取 Kafka数据常见的Source可以分为大概4类：1、基于本地集合的 source2、基于文件的 source3、基于网络套接字的 source4、自定义的 source 常见的有 Apach

Flink的练习之电话通信统计环境介绍1. 软件flink版本：flink-1.9.1-bin-scala_2.11.tgz 官网下载kafka版本：kafka_2.11-2.3.1.tgz 官网下载zookeeper版本：3.4.14my

流式数据处理# Kafka是一个消息队列,同时具备拓展功能(海量数据存储,海量数据流式处理) activemq(6k) rabbitmq(1.2w) rocketMQ(3-5w) 理论上来讲避免了数据丢失的问题. kafka(25-50w)

Flink 的核心语义和架构模型 Flink核心概念 Streams(流) 有界流 有固定大小，不随时间增长而增长的数据，比如Hive中的一张表无界流 无固定大小，数据随时间增长而增长，比如Kafka中的消息State(状态)#重要 指的是

Flink（七）Flink SQL一.SQL基础1.基础架构2.表环境2.1 表环境的作用2.2 创建表环境3.创建表3.1 表的ID3.2 DDL2.3 流转换成表4.表的查询4.1. 执行 SQL 进行查询4.2 调用 Table A

参考文章：Flink集群部署详细步骤 简单Flink集群配置生产中基本很少使用这种模式，大多数都是基于YARN来进行提交任务，下面主要给出YARN的任务提交配置方式。 下载Flink压缩包下载地址：Downloads | Apache Fl

Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，例如选择，过滤和连接。无论输入是批输入还是流输入，任一接