Import Org.apache.flink.configuration. RestOptions

我其实前面写了2个同类型文章 十分钟上手Flink CDC : https://blog.51cto.com/lenglingx/7596588 十一分钟上手Flink CDC : https://blog.51cto.com/lenglingx/11242672 写本篇文章的目的，其实是把最新的环境依赖给记录下来，主要也是记录下依赖和依赖描述。 jdk21， flink-1.20.1， springboot-3.2.12。 flink文档：https://nightlies.apache.org/flink/flink-docs-release-1.20/zh/docs/dev/configuration/overview/ 一、直接pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"...

一、Flink架构及核心概念 JobMaster是JobManager中最核心的组件，负责处理单独的作业（Job）。 一个job对应一个jobManager （1）并行度（Parallelism）概念 一个特定算子的子任务（subtask）的个数被称之为其并行度（parallelism）。这样，包含并行子任务的数据流，就是并行数据流，它需要多个分区（stream partition）来分配并行任务。 流程序的并行度 = 其所有算子中最大的并行度。一个程序中，不同的算子可能具有不同的并行度。 （2）设置并行度 对某个具体算子设置并行度： stream.map(word -> Tuple2.of(word, 1L)).setParallelism(2); 全局设置并行度： env.setParallelism(2); 提交任务时指定： 通过页面上传jar的时候可以指定 可以在命令行启动的时候通过 -p 3指定 flink-conf.yaml中配置： parallelism.default: 2 优先级： 代码中具体算子 > 代码中全局 > 提交任务指定 > 配置文件中指定...

5.1 hudi集成flink flink的下载地址： https://archive.apache.org/dist/flink/ HudiSupported Flink version 0.12.x 1.15.x、1.14.x、1.13.x 0.11.x 1.14.x、1.13.x 0.10.x 1.13.x 0.9.0 1.12.2 将上述编译好的安装包拷贝到flink下的jars目录中： cp /opt/apps/hudi-0.12.0/packaging/hudi-flink-bundle/target/hudi-flink1.13-bundle-0.12.0.jar /opt/apps/flink-1.13.6/lib/ 拷贝guava包，解决依赖冲突 cp /opt/apps/hadoop-3.1.3/share/hadoop/common/lib/guava-27.0-jre.jar /opt/apps/flink-1.13.6/lib/ 配置Hadoop环境变量 vim /etc/profile.d/my_env.sh export...