4006-998-758
3000+课程任你选择
Flink高级培训大纲
研发学院 Flink 开课时间:2023-04-14
张利兵


讲师介绍

张老师

第四范式数据中台架构师

Apache Flink 的贡献者

《Flink 原理、实战与性能优化》作者

张老师在大数据领域深耕了7年之久,曾主导某国企银行实时风控平台的产品研发和部署,带领团队进行某轨道行业实时运维智能平台的架构与研发工作。在大数据领域拥有非常丰富的工作经验,对 Hadoop、Spark、Flink、机器学习等大数据技术有着深入的了解。张利兵老师同是也获得了Cloudera CCAH 认证,Cloudera SEBC认证以及Cloudera 认证讲师,拥有非常丰富的授课经验。


查看老师详情
课程内容


课程大纲

模块分类

核心内容

课程收益

Day1

Flink核心设计思想

Dataflow计算模式原理介绍
  MapReduce计算模式原理介绍
  Chandy Lamport分布式容错方案在FLink的实现
  Flink早期架构设计
  Flink技术架构演进

Flink API设计与实现

Flink API整体设计与架构实现
  Flink三种Graph的转换与生成
  Flink DataStream API设计与实现
  Flink SQL与Table设计与实现
  Flink SQL解析原理与优化
  Flink SQL CodeGen设计实现
  Flink SQL优化与常用案例解析
  Flink SQL与DataStream API对比
  Flink SQL实现批流一体
  Flink DataStream批流一体实现
  Flink SQL容错机制介绍
  Flink SQL实现血缘解析与元数据管理

Flink状态实现与解析

Flink State介绍与应用
  Flink StateBackend设计与实现
  Flink FsStateBackend深度解析
  Flink RocksdbStateBackend深度解析
  Flink状态优化实践
  Flink Savepoint介绍与实现
  Flink Checkpoint介绍与实现
  Flink容错机制介绍与实现

Flink Runtime设计与实现

Flink Runtime整体设计与实现
  Flink Client原理与源码实现
  Flink客户端与Session集群通信
  Flink Dispatcher组件介绍与实现
  Flink JobManager设计与实现
  Flink TaskManager原理与设计
  Flink ResourceManager设计与原理解析
  Flink 高可用服务
  Flink On K8s HA实现方式与介绍
  Flink On Zk HA设计与实现
  Flink Aggregated Failure Rate Restart Strategy 方案

Day2

Flink集群部署模式解析

Flink ResourceManager设计与原理解析
  Flink部署架构设计
  Flink On Yarn实现原理与源码解析
  Flink On Kubernetes实现原理与源码解析
  Flink Session集群与Job集群模式对比
  Flink集群部署模式对比
  Flink内存资源管理与实现
  Flink细粒度Slot资源管理与实现
  Flink混布模式解析

湖仓一体架构介绍

1.数据湖基本概念
  2.数据湖的发展历程
  3.数据仓库与数据湖对比
  4.数据湖核心优势
  5.数据湖主流技术
  6.Apache iceberg核心技术与实现
  7. Apache Hudi核心技术与实现
  8. Delta Lake核心技术与实现
  6. 湖仓一体架构原理
  9.湖仓一体平台建设
  10.Flink与数据湖整合

Flink作业与资源监控

Flink常用Metrics监控指标介绍与获取
  Flink Metrics设计与实现
  Flink自定义Metrics设计与实现
  Flink对接Grafana与Prometheus监控系统
  Flink任务管理与资源监控
  Flink Restful API设计原理与拓展
  Flink SQL平台化实现过程
  Flink SQL Debug调试平台
  Flink 作业级别时延监控方案
  Flink资源监控与设计方案介绍

Flink高级应用介绍

PyFlink与Flink   Ml实现AI应用落地
  Flink CEP案例介绍与实现
  Flink 图计算介绍与案例
  Flink特征工程与实现
  流数据平台案例介绍
  实时数据仓库案例介绍


返回上一级