轻松入门大数据：玩转Flink，打造湖仓一体架构

主讲:Michael_PK课时:50小时
随着数据规模持续的高速增长，大数据基础设施技术从数据库、数据仓库演化到如今的湖仓一体架构，更成为未来新的架构标准。而Flink因为其优良的性能与广泛的适用性，也成为大数据核心技术之一。本课程将从Flink零基础讲起，涵盖Kafka、ClickHouse、Hudi等热门技术栈，结合多种实时处理场景，构建当下最热门的数据湖、湖仓一体架构，助你轻松进阶大数据工程师！

课程介绍

轻松入门大数据：玩转Flink，打造湖仓一体架构
十二年技术老兵，带你操盘企业级项目，打造数据思维
随着数据规模持续的高速增长，大数据基础设施技术从数据库、数据仓库演化到如今的湖仓一体架构，更成为未来新的架构标准。而Flink因为其优良的性能与广泛的适用性，也成为大数据核心技术之一。本课程将从Flink零基础讲起，涵盖Kafka、ClickHouse、Hudi等热门技术栈，结合多种实时处理场景，构建当下最热门的数据湖、湖仓一体架构，助你轻松进阶大数据工程师！

适合人群想转型大数据开发的同学想提升自己技能、项目经验、薪资的大数据开发同学

技术储备熟悉Linux基本命令了解Java SE的基础知识了解MySQL的基本使用

环境参数Hadoop 3.3.2Flume 1.9.0Hive 3.1.2Scala 2.12ZooKeeper 3.8.0CentOS 7.xJDK 1.8+

试看链接：https://pan.baidu.com/s/1-XJsZ80FhlvtPk-KAO8u3w?pwd=klwc

章节目录：
第1章 大厂技术首选高薪必备：揭开Flink的神秘面纱 试看11 节 | 53分钟要论当前业界最火的大数据实时处理引擎，Flink要说第二，无人敢称第一。本章节为大家揭开Flink的神秘面纱：Flink是什么、它的发展史、特性；对比Spark它的优势；以及Flink在大厂中是如何被广泛实践的。收起列表视频：1-1 高薪大数据工程师必备技能，你掌握了么？ (08:16)试看视频：1-2 本章概览 (02:01)视频：1-3 认识Flink (08:24)视频：1-4 部署应用到任意地方&运行任意规模应用 (05:04)视频：1-5 Flink的起源及发展史 (05:29)视频：1-6 Flink中的API (09:33)视频：1-7 Flink核心特性 (05:44)视频：1-8 Flink对比Spark (07:32)图文：1-9 【科普小贴士】Flink发展史&特点&行业应用图文：1-10 【面试官来啦】面试讨论题作业：1-11 【练练练】阶段作业题第2章 批流一体丝滑开发体验：快速上手使用Flink进行编程11 节 | 79分钟批流一体是当前以及未来的发展方向，如何使用Flink快速开发出批流一体的应用程序，是我们本章节的重点。同时，也会带领大家，总结出基于Flink进行开发的编程套路，助力轻松实践。收起列表视频：2-1 本章概览 (02:42)视频：2-2 基于Flink官方提供的命令构建Flink应用程序 (13:37)视频：2-3 基于IDEA+Maven构建Flink应用程序的本地开发环境 (11:25)视频：2-4 词频统计案例需求分析 (07:41)视频：2-5 Flink以批处理的方式实现功能开发 (11:57)视频：2-6 开发重构之自定义Function的方式 (04:20)视频：2-7 开发重构之Lambda表达式写法 (11:26)视频：2-8 Flink以流处理的方式实现功能开发 (07:44)视频：2-9 通过参数控制Flink以何种模式运行作业 (03:48)试看视频：2-10 Flink对接socket数据并进行统计分析 (03:25)作业：2-11 【练练练】阶段作业题第3章 工欲善其事必先利其器：Flink部署及作业运行16 节 | 94分钟Flink应用程序开发完之后，在生产上都是运行在服务器上的。在知晓Flink的架构之后，我们将一起进行Flink环境的部署，并实践如何将Flink作业运行在服务器上。本章中，将涉及Flink的不用运行模式以及Flink UI的详细讲解，为后续要进行Flink应用的调优打下坚实的基础。...收起列表视频：3-1 本章概览 (03:39)图文：3-2 【环境配置】云主机开通及配置视频：3-3 从宏观角度认识Flink架构 (11:23)视频：3-4 再次认识JobManager和TaskManager (09:42)视频：3-5 Flink Standalone模式部署及Flink UI介绍 (10:38)视频：3-6 flink run运行官方自带案例 (03:24)视频：3-7 【补充】如何在本地运行环境中设定Flink WebUI (07:14)视频：3-8 动态传递参数给Flink应用程序改造 (04:02)视频：3-9 使用Flink WebUI提交自己开发的Flink应用程序 (03:33)视频：3-10 取消作业的两种方式 (03:39)视频：3-11 【重要】如何使用命令行的方式提交Flink应用程序 (08:11)视频：3-12 初探Flink集群部署模式 (13:20)视频：3-13 Flink Standalone之Application Mode方式运行 (05:37)视频：3-14 Flink on YARN之Application Mode方式运行 (08:46)图文：3-15 【面试官来啦】面试讨论题作业：3-16 【练练练】阶段作业题第4章 快速便捷接入各种数据：Flink Data Source API编程12 节 | 81分钟大数据处理经典的三段论：接入数据、处理数据、输出结果。本章节详解第一段论即Flink如何接入数据。本章中，将通过案例实战，带领大家在掌握Flink为我们内置的数据源API的基础上，深入源码，轻松掌握自定义数据源接入的二次开发实践思路及开发套路。 ...收起列表视频：4-1 本章概览 (03:14)视频：4-2 DataStream API编程规范以及DataStream是什么 (10:02)视频：4-3 Flink多种执行环境的获取方式 (08:15)视频：4-4 结合源码分析Data Source (11:17)视频：4-5 单并行度Source测试用例 (09:54)视频：4-6 多并行度Source测试用例 (07:55)视频：4-7 结合源码分析SourceFunction (04:48)试看视频：4-8 自定义实现单并行度数据源 (07:20)视频：4-9 自定义实现多并行度数据源 (01:03)视频：4-10 自定义数据源实现MySQL数据的读取 (16:36)图文：4-11 【面试官来啦】面试讨论题作业：4-12 【练练练】阶段作业题第5章 高效简洁数据处理方式：Flink Transformation API编程12 节 | 69分钟大数据处理的核心部分就是接入数据之后，如何快速高效的对数据按照需求进行处理。本章节详解大数据处理经典的三段论的第二段论，即Flink如何处理数据。在课程中，将通过案例实战，带领大家彻底掌握Flink为我们内置的Transformation API。...收起列表视频：5-1 本章概览 (01:52)视频：5-2 认识Flink中有哪些Transformation算子 (02:29)视频：5-3 Tranformation算子实操之map算子 (09:15)视频：5-4 Tranformation算子实操之filter算子 (04:38)视频：5-5 Tranformation算子实操之flatMap算子 (05:54)视频：5-6 Tranformation算子实操之keyBy算子 (08:15)视频：5-7 Tranformation算子实操之union算子 (04:14)视频：5-8 Tranformation算子实操之connect算子 (06:22)视频：5-9 Tranformation算子实操之自定义分区器 (16:01)视频：5-10 DataStream分流 (09:52)图文：5-11 【面试官来啦】面试讨论题作业：5-12 【练练练】阶段作业题第6章 处理结果吐出外部系统：Flink Sink API编程10 节 | 59分钟大数据处理经典的三段论：接入数据、处理数据、输出结果。本章节详解第三段论即Flink输出结果。基于Flink我们将数据处理之后，得将处理结果吐出到目的地，为下游的处理或者展示提供数据来源。在课程中，我们将通过案例实战，在掌握Flink为我们内置的Sink API的基础上深入源码，轻松掌握自定义Sink的二次开发思路及实现套路...收起列表视频：6-1 本章概览 (02:17)视频：6-2 认识Flink中的Sink (05:25)视频：6-3 Sink算子实操之print (07:35)视频：6-4 Sink算子实操之自定义Sink到终端 (03:36)视频：6-5 Sink算子实操之自定义Sink到文件系统 (10:45)视频：6-6 Flink处理结果输出到Redis中 (12:04)视频：6-7 Flink处理结果输出到MySQL中 (11:24)视频：6-8 Sink算子实操之输出到socket (04:55)图文：6-9 【面试官来啦】面试讨论题作业：6-10 【练练练】阶段作业题第7章 玩转Flink项目实战之一：实时统计之商品分析14 节 | 66分钟如何使用Flink进行各种不同维度的统计分析并入库？如何在生产环境中，进行Flink应用开发的同时进行调优的思考？这将是我们本次实战场景将与大家一同探讨的问题。收起列表视频：7-1 本章概览 (01:36)视频：7-2 企业中基于Flink实时处理的架构分析 (11:37)视频：7-3 需求分析 (07:39)视频：7-4 本地开发环境搭建 (03:38)视频：7-5 项目日志字段说明及生产数据注意事项 (04:43)视频：7-6 对接数据及清洗 (07:25)视频：7-7 日期格式清洗 (03:23)视频：7-8 统计结果 (01:58)视频：7-9 统计结果入Redis库 (03:53)视频：7-10 自定义RedisSink (04:49)视频：7-11 实现改造并进行统计结果的diff (09:45)视频：7-12 拓展 (04:46)图文：7-13 【面试官来啦】面试讨论题作业：7-14 【练练练】阶段作业题第8章 一起揭开Kafka神秘面纱：Kafka架构&核心术语7 节 | 48分钟在实时流处理框架中，Kafka和Flink是一对绝对且经典的CP，在生产上基本都是这2者的搭配使用。本章中，将通过对Kafka架构的图解引出核心概念，揭开Kafka的神秘面纱。收起列表视频：8-1 本章概览 (01:53)视频：8-2 认识JMS (06:21)视频：8-3 通过官网的介绍知晓Kafka是什么 (10:03)视频：8-4 自我语言总结Kafka是什么 (05:34)视频：8-5 Kafka在大数据中的典型使用场景screenflow (06:53)视频：8-6 图解Kafka架构 (16:31)图文：8-7 【面试官来啦】面试讨论题第9章 工欲善其事必先利其器：Kafka部署及监控11 节 | 72分钟监控是运维的眼睛，是稳定性建设中最重要的一环，监控不仅是开发工程师也是运维工程师必须要会的。掌握Kafka的多种不同部署方式，以及如何使用命令行对Kafka进行操作，并对Kafka进行相关指标的监控，是这章中，大家需要学习的重点内容。...收起列表视频：9-1 本章概览 (02:56)视频：9-2 动起我们的小手进行单节点单Kafka的部署（上） (02:27)视频：9-3 动起我们的小手进行单节点单Kafka的部署（下） (18:22)视频：9-4 kafka-topics命令行核心参数讲解 (08:07)视频：9-5 Kafka Topic命令行操作 (10:11)视频：9-6 Kafka生产者消费者命令行操作 (08:40)视频：9-7 动起我们的小手进行单节点多Kafka的部署 (09:04)视频：9-8 单节点多Kafka脚本命令测试 (03:41)视频：9-9 Kafka监控部署及使用 (07:56)图文：9-10 【面试官来啦】面试讨论题作业：9-11 【练练练】阶段作业题第10章 深度剖析Kafka生产者：消息发送流程&API编程&调优21 节 | 164分钟思考：Kafka生产者是如何高可靠的进行数据发送的呢？针对Kafka三大核心组件：Producer、Broker、Consumer，本章详解的是核心组件之Producer。课程中，将通过图解及经典面试题解析的方式，带领大家彻底掌握Kafka Producer整个执行流程，以及各个数据流转环节的调优，能够熟练实践基于Java API对Kafka进行高效访问。...收起列表视频：10-1 本章概览 (03:12)视频：10-2 【经典面试题--必掌握】生产者消息发送流程 (21:39)视频：10-3 生产者消息发送流程核心参数详解 (11:38)视频：10-4 生产者API开发之普通异步发送 (14:34)视频：10-5 生产者API开发之普通异步发送代码重构 (06:23)视频：10-6 生产者API开发之带回调的异步发送 (04:59)视频：10-7 生产者API开发之同步发送 (02:41)视频：10-8 Kafka的分区机制能为我们带来什么 (10:29)视频：10-9 Kafka分区策略结合源码分析 (06:53)视频：10-10 Kafka分区策略结合源码分析进行功能验证 (10:56)视频：10-11 Kafka自定义分区器功能开发及测试 (05:48)视频：10-12 Kafka性能调优参数在代码中的使用 (08:06)视频：10-13 【经典面试题--必掌握】谈谈你对Kafka中的副本以及同步副本的看法 (11:29)视频：10-14 【经典面试题--必掌握】谈谈你对Kafka中的acks的看法 (17:20)视频：10-15 【经典面试题--必掌握】谈谈你对Kafka中的消费语义的看法 (03:45)视频：10-16 精准一次消费实现之幂等性 (10:56)视频：10-17 精准一次消费实现之事务 (05:09)视频：10-18 精准一次消费实现之事务功能开发及测试 (05:31)视频：10-19 Kafka中Topic内的Partition中数据的有序性 (02:14)图文：10-20 【面试官来啦】面试讨论题作业：10-21 【练练练】阶段作业题第11章 深入剖析Kafka Broker：Kafka消息高效存储机制8 节 | 81分钟思考：Kafka数据是如何做到读写效率是如此之高，并被大数据以及Java后端所大量采用的？关于Kafka三大核心组件：Producer、Broker、Consumer，本章详解的是核心组件之Broker。课程中，会通过图解及经典面试题解析的方式，带领大家掌握Kafka Broker整个执行流程，并剖析Kafka的消息是如何进行读写以及高可用的。...收起列表视频：11-1 本章概览 (01:32)视频：11-2 Kafka相关信息在ZK上的存储机制 (14:45)视频：11-3 Leader选择与ZK的关系 (10:48)视频：11-4 Kafka副本机制 (11:28)视频：11-5 Kafka数据存储机制 (08:18)视频：11-6 Kafka数据存储机制更深入讲解 (26:03)视频：11-7 Kafka核心参数讲解 (07:49)图文：11-8 【面试官来啦】面试讨论题第12章 深入剖析Kafka消费者：消息消费流程&API编程&调优20 节 | 150分钟思考：Kafka消费者如何提升消费效率，使得不至于有大量的消息被滞留？关于Kafka三大核心组件：Producer、Broker、Consumer，本章详解的是核心组件之Consumer。课程中，将通过图解及经典面试题解析的方式，带领大家深度理解Kafka Consumer整个执行流程，剖析消费者组能为我们打来什么，消息的分配策略以及offset的管理。...收起列表视频：12-1 本章概览 (02:10)视频：12-2 Kafka为什么使用的是pull的消费方式 (10:12)视频：12-3 有了消费者之后为什么还需要消费者组 (07:11)视频：12-4 消费者组和Topic的关系 (08:45)视频：12-5 Kafka消费流程 (12:12)视频：12-6 结合源码了解GroupCoordinator初始化过程 (20:30)视频：12-7 消费者API编程之单消费者消费所有分区数据（上） (11:25)视频：12-8 消费者API编程之单消费者消费所有分区数据（下） (10:57)视频：12-9 消费者API编程之消费指定分区数据 (05:44)视频：12-10 消费者API编程之多消费者消费各自分区数据 (03:55)视频：12-11 Kafka分区策略之Range (10:32)视频：12-12 Kafka的Rebalance机制 (05:18)视频：12-13 根据源码描述测试Range的分区策略及Rebalance (11:36)视频：12-14 统一思想完成其他策略的验证 (03:12)视频：12-15 认识__consumer_offsets (07:53)视频：12-16 Kafka offset管理之自动提交 (09:38)视频：12-17 Kafka offset管理之手动提交 (03:17)视频：12-18 offset管理不当带来的隐患 (05:10)图文：12-19 【面试官来啦】面试讨论题作业：12-20 【练练练】阶段作业题第13章 经典Kafka CP整合使用：Kafka整合外部系统9 节 | 61分钟Flink和Kafka是一对完美的CP，那这对CP是如何配对使用呢？本章中，将带领大家一起实践，Kafka分别作为Producer和Consumer如何整合Flume、Flink的综合使用技巧。收起列表视频：13-1 本章概览 (01:10)视频：13-2 认识Kafka在离线&实时处理处理架构中的位置 (13:13)视频：13-3 Flume Sink到Kafka方案理解 (06:34)视频：13-4 Flume Sink到Kafka功能开发及测试 (09:53)视频：13-5 Flume KafkaSource对接到终端功能开发及测试 (07:25)视频：13-6 Flink KafkaSource解读 (10:40)视频：13-7 Flink KafkaSource功能开发及测试 (05:48)视频：13-8 Flink KafkaSink功能开发及测试 (06:09)作业：13-9 【练练练】阶段作业题第14章 玩转Flink项目实战之二：实时统计之商品分析(对接Kafka)9 节 | 61分钟在掌握Flink和Kafka这对CP在生产上的使用之后，本章中，将带领大家，再次理解Kafka和Flink这组CP在生产上的搭配使用。如何使用Flink对接Kafka数据完成各项指标的统计分析？Flink对接Kafka在生产上使用时要注意如何优雅避坑？这些都将在课程中一一讲解。...收起列表视频：14-1 本章概览 (01:19)视频：14-2 架构及内容介绍 (04:24)视频：14-3 Flink接入Kafka数据 (10:27)视频：14-4 重构代码 (04:15)视频：14-5 Flink Stream关联MySQL数据操作 (13:15)视频：14-6 Flink Asynchronous IO (11:23)视频：14-7 Flink异步IO读取MySQL的数据 (15:26)图文：14-8 【面试官来啦】面试讨论题作业：14-9 【练练练】阶段作业题第15章 时间对实时处理的影响：Flink时间语义及Window API篇21 节 | 157分钟如何对窗口进行选型并结合Flink在生产上的使用？Flink中的窗口能为我们带来将无穷无尽的流切分成小批次的处理，本章中，我们将一起，结合案例实战，彻底掌握Flink中非常多的不同语义的窗口定义，并对划分后的窗口进行数据处理。...收起列表视频：15-1 本章概览 (02:51)视频：15-2 揭开Flink时间语义的面纱 (17:30)视频：15-3 时间语义如何选择呢 (10:27)视频：15-4 Window在实时计算中的地位 (05:39)视频：15-5 Window的分类 (09:40)视频：15-6 Window Assigners的职责及对应Window的分类 (07:32)视频：15-7 Tumbling Window (04:37)视频：15-8 Sliding Windows (07:53)视频：15-9 Session Windows (04:51)视频：15-10 动手实操之CountWindow (11:13)视频：15-11 动手实操之TumblingWindow (08:44)视频：15-12 动手实操之SlidingWindow (07:38)视频：15-13 动手实操之SessionWindow (02:11)视频：15-14 Flink支持的WindowFunction (08:31)视频：15-15 WindowFunction动手实操之ReduceFunction (08:59)视频：15-16 WindowFunction动手实操之AggregateFunction (12:20)视频：15-17 WindowFunction动手实操之ProcessWindowFunction (09:20)视频：15-18 WindowFunction动手实操之AllWindowFunction (01:44)视频：15-19 WindowFunction动手实操之全量配合增量使用 (14:36)图文：15-20 【面试官来啦】面试讨论题作业：15-21 【练练练】阶段作业题第16章 延迟乱序数据解决方案：Watermark在Flink中的使用10 节 | 80分钟生产上如何处理由于网络抖动带来的数据乱序以及数据延迟的问题？在本章中，我们将引入Watermark机制，并结合前一章节的窗口这对CP来解决生产中线上经常遇到的问题。收起列表视频：16-1 本章概览 (01:24)视频：16-2 引入WM (09:50)视频：16-3 WM策略 (07:09)视频：16-4 WM策略代码演示 (14:27)视频：16-5 测试数据的WM (11:25)视频：16-6 【重要】综合编程之滚动窗口 (10:07)视频：16-7 【重要】综合编程之滑动窗口 (07:09)视频：16-8 【重要】数据延迟&乱序解决方案 (17:31)图文：16-9 【面试官来啦】面试讨论题作业：16-10 【练练练】阶段作业题第17章 Flink容错核心状态管理：状态在Flink中的应用15 节 | 165分钟为什么说Flink是基于状态的流处理引擎，Flink是如何进行状态管理？为什么Flink要为我们提供要状态的管理？Flink有多种不同的状态管理方式，本掌中，将通过我们自定义的状态管理引入，结合案例实战，彻底掌握不同的状态管理的编程，并结合checkpoint&状态管理后端做到生产上端到端的状态管理一致性。...收起列表视频：17-1 本章概览 (02:20)视频：17-2 初识State (08:28)视频：17-3 自定义完成类似Flink状态管理的功能 (12:49)视频：17-4 Flink KeyedState的使用 (18:13)视频：17-5 [重要]Flink Operator State的使用并体会Flink State的强大特性 (14:10)视频：17-6 Flink ValueState编程 (19:02)视频：17-7 Flink State Ttl编程 (20:42)视频：17-8 process方法的用法一 (05:36)视频：17-9 process方法的用法二 (04:48)视频：17-10 process方法的用法三 (08:59)视频：17-11 Checkpoint配置参数 (13:56)视频：17-12 Flink Task重启策略 (22:25)视频：17-13 [重要]Flink State Backend (13:16)图文：17-14 【面试官来啦】面试讨论题作业：17-15 【练练练】阶段作业题第18章 玩转Flink项目实战之三：实时统计之数据大盘12 节 | 76分钟Flink在生产上如何基于Window和State整合的最佳实践？如何重构出标准的Flink对接Kafka的代码，以便后期的复用？这一章中，让我们一起，深入探究并掌握，Flink中端到端的Exactly-once语义、数据乱序的解决方案吧。收起列表视频：18-1 本章概览 (01:48)视频：18-2 多个Flink整合Kafka应用程序代码存在的问题 (12:05)视频：18-3 读取配置文件中的参数 (07:34)视频：18-4 Flink对接Kafka代码重构V1 (07:11)视频：18-5 Flink对接Kafka代码重构V2 (03:12)视频：18-6 【重要】 Flink EOS (12:03)视频：18-7 【重要】 Flink EOS再次剖析 (11:25)视频：18-8 Flink EOS代码开发及本地测试并打包 (08:57)视频：18-9 Flink EOS全流程在服务器上测试 (04:46)视频：18-10 Flink checkpoint vs savepoint (06:04)图文：18-11 【面试官来啦】面试讨论题作业：18-12 【练练练】阶段作业题第19章 Flink更加精简的开发方式：Flink Table & SQL API31 节 | 312分钟相对于编程来说，SQL面向的受众更广，如果一个框架最终能落地到SQL进行数据处理，那必然是一个完美的选择，这也是业界大数据引擎所正在追求的路线。本章节我们重点来掌握，Flink如何使用SQL的方式来接入数据、处理数据、输出结果；以及如何基于Flink函数进行二次开发的技巧和套路。...收起列表视频：19-1 本章概览 (03:00)视频：19-2 Flink Table API&SQL概述及依赖 (09:21)视频：19-3 Concepts&Common API (08:36)视频：19-4 Dynamic Tables (15:14)视频：19-5 DataStream和Table之间的相互转换 (17:32)视频：19-6 Table API编程范式 (10:26)视频：19-7 Table API&SQL Query (09:09)视频：19-8 创建Table对象 (13:17)视频：19-9 创建Table对象续 (12:42)视频：19-10 获取到SQL中用到的表名或者视图名 (07:49)视频：19-11 临时表vs永久表 (08:50)视频：19-12 初始Connector (05:40)视频：19-13 csv格式数据处理（上） (15:24)视频：19-14 csv格式数据处理（下） (07:40)视频：19-15 json格式数据处理 (21:21)视频：19-16 Kafka Connector的使用 (16:03)视频：19-17 时间语义在DDL中如何定义 (16:07)视频：19-18 Upsert Kafka Connector的使用 (12:21)视频：19-19 JDBC Connector的使用 (10:47)视频：19-20 HBase Connector的使用 (04:31)视频：19-21 拓展之开发实时处理平台 (05:49)视频：19-22 自定义UDF函数之ScalarFunction (19:16)视频：19-23 自定义UDF函数之AggregateFunction (12:24)视频：19-24 自定义UDF函数之TableFunction (10:22)视频：19-25 SQL常用Query (04:39)视频：19-26 sql-client的用法 (02:45)视频：19-27 Windowing TVF之TUMBLE (12:13)视频：19-28 Windowing TVF之HOP (06:36)视频：19-29 Window Top-N (11:17)图文：19-30 【面试官来啦】面试讨论题作业：19-31 【练练练】阶段作业题第20章 数据采集神器Flink CDC：基于Flink CDC 进行实时数据采集14 节 | 94分钟在不写代码的前提下，Flink CDC如何快速高效的对接外部数据库的数据? 对接外部各种数据库，在以前我们都是通过数据源的方式进行接入，是需要进行编程开发的，Flink深知痛点，提出CDC的解决方案，本章中，我们将一起实践，使用代码的方式，以及直接使用SQL的方式快速高效的将数据源对接到Flink框架上来。...收起列表视频：20-1 本章概览 (00:49)视频：20-2 实时数据采集场景介绍 (05:09)视频：20-3 Canal原理 (05:58)视频：20-4 Canal部署及使用 (17:24)视频：20-5 Canal编程 (11:18)视频：20-6 Canal编程测试 (03:22)视频：20-7 Flink CDC概述 (06:58)视频：20-8 DataStream API对接CDC (09:28)视频：20-9 CDC从什么位置开始读取数据设置 (02:28)视频：20-10 自定义定制开发输出样式 (10:37)视频：20-11 FlinkCDC源码修改 (14:13)视频：20-12 FlinkCDC对接sql方式 (05:58)图文：20-13 【面试官来啦】面试讨论题作业：20-14 【练练练】阶段作业题第21章 玩转Flink项目实战之四：实时统计之直播榜分析9 节 | 58分钟如何使用Flink CDC实时快速高效收集业务库数据？如何使用Flink SQL进行各维度统计分析？当使用Flink CDC时遇到整合Flink版本不兼容时，如何进行基于源码的二次开发？带着这些问题，我们一起开始本章的学习吧。收起列表视频：21-1 本章概览 (01:03)视频：21-2 背景及数据准备 (14:43)视频：21-3 功能实现之数据接入 (09:46)视频：21-4 功能实现之数据处理及写入 (12:41)视频：21-5 可视化框架部署 (10:47)视频：21-6 可视化大屏制作 (06:15)视频：21-7 Flink处理过程简单化带来的好处 (02:22)图文：21-8 【面试官来啦】面试讨论题作业：21-9 【练练练】阶段作业题第22章 战斗民族开源神器ClickHouse：揭开CH的神秘面纱10 节 | 56分钟本章中，我们将一起来，揭开当前业内最火的OLAP框架ClickHouse的面纱。基于场景入手，找出现存解决方案的痛点，并引入ClickHouse，讲解ClickHouse的部署，如何对ClickHouse的配置进行修改，并使用官方提供的数据集，助力你轻松上手ClickHouse。...收起列表视频：22-1 本章概览 (01:43)视频：22-2 产生背景 (05:45)视频：22-3 OLAP特性 (11:39)视频：22-4 列式存储特性 (06:41)视频：22-5 ClickHouse部署 (09:11)视频：22-6 ClickHouse核心目录 (08:08)视频：22-7 Clickhouse-client命令参数 (06:18)视频：22-8 ClickHouse官方数据使用说明 (03:44)视频：22-9 ClickHouse跑分 (02:05)作业：22-10 【练练练】阶段作业题第23章 ClickHouse数据类型精讲：详解ClickHouse的各种数据类型的使用13 节 | 76分钟对于表操作来说，第一件事就是要创建表，那么ClickHouse中到底支持哪些数据类型呢？在这一章中，我们一起来彻底掌握ClickHouse的各种不同数据类型的使用以及注意事项。收起列表视频：23-1 本章概览 (02:06)视频：23-2 数据类型 (03:33)视频：23-3 数值类型之整型 (06:16)视频：23-4 数值类型之浮点型 (07:02)视频：23-5 【重要】数值类型之Decimal (11:33)视频：23-6 布尔类型 (02:11)视频：23-7 【重要】String和FixedString类型 (09:27)视频：23-8 UUID类型 (02:47)视频：23-9 【重要】日期和时间类型 (14:01)视频：23-10 Array类型 (08:16)视频：23-11 Tuple类型 (05:26)视频：23-12 Map类型 (03:17)作业：23-13 【练练练】阶段作业题第24章 ClickHouse内置函数精讲：详解ClickHouse的内置函数的使用11 节 | 54分钟表创建完毕并导入数据之后，接下来要做的事情就是使用SQL来进行统计分析了，那么在使用SQL的过程中必然要使用到ClickHouse中内置的各种函数的使用。在这一章中，我们将来一起应用CH的各种内置函数，通过案例实操的方式分门别类的掌握各类核心函数的使用...收起列表视频：24-1 本章概览 (00:52)视频：24-2 算数函数 (08:26)视频：24-3 比较函数 (03:58)视频：24-4 逻辑函数 (02:31)视频：24-5 取整函数 (04:42)视频：24-6 类型转换函数 (07:40)视频：24-7 条件函数 (05:15)视频：24-8 URL函数 (05:01)视频：24-9 字符串函数 (07:25)视频：24-10 日期时间函数 (07:51)作业：24-11 【练练练】阶段作业题第25章 ClickHouse核心DDL&DML：库&表&视图的使用13 节 | 72分钟在本章节中，让我们一起来玩转，ClickHouse中关于库、表、视图的核心操作。掌握库&表&视图的DDL以及DML操作。收起列表视频：25-1 本章概览 (01:14)视频：25-2 DDL之创建数据库 (07:51)视频：25-3 DDL之创建表 (10:33)视频：25-4 DDL之删除表 (01:21)视频：25-5 DDL之修改表 (08:22)视频：25-6 DDL之重命名表 (03:36)视频：25-7 DDL之清空表数据 (02:21)视频：25-8 DML之插入数据 (10:47)视频：25-9 DML之修改和删除数据 (05:25)视频：25-10 分区表的创建及加载数据 (11:30)视频：25-11 分区表删除分区 (03:55)视频：25-12 分区表复制分区 (04:28)作业：25-13 【练练练】阶段作业题第26章 ClickHouse核心引擎分析：各家族核心引擎使用及选型24 节 | 134分钟ClickHouse为我们提供了非常多的引擎，在本章节中，我们将来彻底掌握，ClickHouse中各种不同引擎的选择及使用(这也是ClickHouse中最核心的部分)。课程中我们将通过案例实战的方式，在掌握不同引擎的使用以及区别的基础上，根据不同引擎的特性掌握在生产上遇到不同场景时选择引擎的最优策略。...收起列表视频：26-1 本章概览 (02:01)视频：26-2 表引擎概览 (05:09)视频：26-3 Log Engine Family的共性 (03:13)视频：26-4 TinyLog引擎 (08:04)视频：26-5 Stripelog引擎 (05:32)视频：26-6 Log引擎 (03:56)视频：26-7 【重要】Log Engine Family总结 (05:40)视频：26-8 表引擎之Integrations概览 (03:18)视频：26-9 表引擎Integrations之HDFS引擎 (14:44)视频：26-10 表引擎Integrations之MySQL引擎 (06:46)视频：26-11 数据库引擎之MySQL引擎 (03:42)视频：26-12 表引擎Special之File引擎 (04:44)视频：26-13 表引擎Special之Merge引擎 (04:29)视频：26-14 表引擎Special之Memory引擎 (03:29)视频：26-15 MergeTree Engine概览 (04:01)视频：26-16 MergeTree Engine核心语法详解 (06:48)视频：26-17 【重要】MergeTree Engine非分区表功能测试 (05:40)视频：26-18 【重要】MergeTree Engine日期类型分区表功能测试 (05:07)视频：26-19 【重要】MergeTree Engine执行流程分析 (14:33)视频：26-20 ReplacingMergeTree引擎 (08:42)视频：26-21 ReplacingMergeTree引擎带ver的使用 (05:39)视频：26-22 SummingMergeTree引擎 (08:31)图文：26-23 【面试官来啦】面试讨论题作业：26-24 【练练练】阶段作业题第27章 ClickHouse元数据中心：元数据管理11 节 | 50分钟本章中，我们将结合对ClickHouse中所涉及到的库、表、函数等的元数据管理的系统梳理，深度探究ClickHouse中创建的表在底层是如何进行拆分和组合的。收起列表视频：27-1 本章概览 (01:08)视频：27-2 【重要】元数据在大数据中的作用 (12:24)视频：27-3 ClickHouse元数据之tables (11:38)视频：27-4 ClickHouse元数据之columns (09:06)视频：27-5 ClickHouse元数据之表相关元数据 (04:00)视频：27-6 ClickHouse元数据之执行相关元数据 (01:59)视频：27-7 ClickHouse元数据之内置不同种类的维度表元数据 (03:24)视频：27-8 ClickHouse元数据之用户&角色&权限&配额元数据 (03:31)视频：27-9 ClickHouse元数据之其他元数据 (02:10)图文：27-10 【面试官来啦】面试讨论题作业：27-11 【练练练】阶段作业题第28章 经典ClickHouse整合Flink编程：整合Flink开发5 节 | 32分钟本章中，我们将一起时间，如何应用ClickHouse的标准jdbc编程，以及Flink整合ClickHouse的数据读写操作编程中的各种避坑技巧。收起列表视频：28-1 本章概览 (00:55)视频：28-2 ClickHouse JDBC编程概述 (05:57)视频：28-3 ClickHouse JDBC编程 (08:23)视频：28-4 Flink整合ClickHouse写操作 (13:23)视频：28-5 Flink整合ClickHouse读操作 (03:11)第29章 玩转Flink项目实战之五：基于Flink和ClickHouse构建实时数据分析13 节 | 105分钟如何打造基于Flink的标准化将数据清洗后统一接入到ClickHouse？如何基于ClickHouse SQL进行各种维度的统计分析？如何进行Flink&ClickHouse的运行指标可视化监控？好了，让我们在本章的实践中，一一揭秘。收起列表视频：29-1 本章概览 (01:58)视频：29-2 实战功能改善 (05:18)视频：29-3 场景一之功能实现一 (08:08)视频：29-4 场景一之功能实现二 (15:25)视频：29-5 场景一之功能实现三 (15:28)视频：29-6 场景一之扩展 (04:28)视频：29-7 场景二需求分析 (06:38)视频：29-8 场景二之功能实现一 (13:39)视频：29-9 场景二之功能实现二 (11:07)视频：29-10 场景二之功能实现三 (11:26)视频：29-11 场景二之功能扩展 (03:13)视频：29-12 可视化 (04:53)视频：29-13 总结与扩展 (03:18)第30章 揭开数据湖的神秘面纱：数据湖开源产品Hudi的使用19 节 | 195分钟数据湖是什么？能为企业带来什么？湖仓一体是未来的发展趋势，现在很多云产商都在基于开源数据湖框架进行自研，构建出数据湖的商业产品，所以数据湖相关技术是我们必须要掌握的技能。本章中，让我们一起揭开Hudi的神秘面纱，带你认识目前企业应用对最高的数据湖产品。...收起列表视频：30-1 本章概览 (01:29)视频：30-2 引入数据湖 (15:44)视频：30-3 常用数据湖框架对比 (08:21)视频：30-4 初识Hudi (12:56)视频：30-5 再次认识Hudi (08:09)视频：30-6 Hudi发展历史 (08:25)视频：30-7 核心概念之TimeLine (15:02)视频：30-8 快速使用Spark写入数据到Hudi (14:52)视频：30-9 核心概念之File Layouts (12:52)视频：30-10 核心概念之Index (07:05)视频：30-11 核心概念之Index Type (10:26)视频：30-12 核心概念之Table Type(COW) (10:30)视频：30-13 核心概念之Table Type(MOR) (10:24)视频：30-14 核心概念之Table Type(对比) (02:19)视频：30-15 核心概念之Query Types (08:48)视频：30-16 核心概念之其他 (04:18)视频：30-17 Hudi整合Flink SQL快速入门 (08:24)视频：30-18 Flink SQL对接Kafka数据 (04:29)视频：30-19 Flink SQL对接Kafka数据落入Hudi (29:39)第31章 玩转Flink项目实战之六：基于Flink和Hudi的数据湖构建项目20 节 | 153分钟湖仓一体能为我们带来什么？存算分离带来的优缺点？如何基于Flink和Hudi构建数据湖？这些就是我们本章将带领大家实践的重要内容！收起列表视频：31-1 本章概览 (01:17)视频：31-2 回顾离线处理架构 (06:29)视频：31-3 引入Hudi后的架构 (10:56)视频：31-4 架构中重要环节的补充说明 (06:21)视频：31-5 Flink中Catalog使用 (12:54)视频：31-6 Flink对接catalog之读取Hive数据 (12:33)视频：31-7 Flink对接catalog之写入Hive数据 (05:46)视频：31-8 Hudi版本升级 (05:35)视频：31-9 Flink整合Hive Catalog (11:05)视频：31-10 表结构讲解 (08:09)视频：31-11 分层 (08:08)视频：31-12 CDC层建设 (07:29)视频：31-13 产生数据 (07:07)视频：31-14 订单表ODS层建设 (15:55)视频：31-15 商品表ODS层建设 (01:54)视频：31-16 订单详情表ODS层建设 (02:15)视频：31-17 DWD层建设思路 (08:26)视频：31-18 订单相关DWD层建设思路_1 (06:14)视频：31-19 ADS层建设 (09:23)视频：31-20 总结 (04:05)本课程已完结