Skip To Main Content
Maxallowed WatermarkDrift on Muck Rack

Maxallowed WatermarkDrift

As seen in: CSDN
Is this you? As a journalist, you can create a free Muck Rack account to customize your profile, list your contact preferences, and upload a portfolio of your best work. Claim your profile
Back to Maxallowed WatermarkDrift’s profile

Articles by Maxallowed WatermarkDrift

Flink 源码剖析｜2. 事件时间与 Watermark

|
By Maxallowed WatermarkDrift, Duration Maxallowed WatermarkDrift, long eventTimestamp, Duration idleTimeout
| CSDN
2 事件时间与 Watermark 不同于处理时间（processing time），事件时间（event time）是各个事件（记录）在生产设备上的发生时间。通常来说，事件时间在进入 Flink 系统之前，就已经嵌入到了每条记录中，即事件时间完全取决于数据，而不是 Flink 系统中的某个时钟。 事件时间的生成方式多种多样，因此也有着各不相同的特性，例如： Kafka 的 message 时间戳，在只消费单个分片时严格单调递增，但在多个并发同时消费多个分区时则无法保证在下游算子中可以单调递增 在 APP 端采集并传回后端的客户操作时间，因为设备性能问题、网络延迟问题、后端异步接口等原因，无法保证有序 Flink 或其他实时任务生产的数据，根据上游任务的设计逻辑不同，不一定能保证有序 虽然在很多场景下，无法保证 source 数据的有序性，但是在一些场景下，我们却必须依赖事件时间进行关联，例如： 根据业务需要，需要将 30 分钟内的触发痒点信息与用户付费行为进行关联 —— 使用事件时间构造按用户 ID 构造滑动窗口进行关联 根据性能需要，将用户 10 秒内的高频操作记录合并处理...
Open in Who Shared Issue with article?

【flink番外篇】6、flink的WaterMark（介绍、基本使用、kafka的水印以及超出最大允许延迟数据的处理）介绍及示例（1） - 介绍

|
By Maxallowed WatermarkDrift, Duration Maxallowed WatermarkDrift, long eventTimestamp
| CSDN
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系列 本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。 3、Flik Table API和SQL基础系列 本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。 4、Flik Table API和SQL提高与应用系列 本部分是table api 和sql的应用部分，和实际的生产应用联系更为密切，以及有一定开发难度的内容。 5、Flink 监控系列 本部分和实际的运维、监控工作相关。 二、Flink 示例专栏 Flink 示例专栏是 Flink 专栏的辅助说明，一般不会介绍知识点的信息，更多的是提供一个一个可以具体使用的示例。本专栏不再分目录，通过链接即可看出介绍的内容。 两专栏的所有文章入口点击：Flink...
Open in Who Shared Issue with article?

【flink番外篇】6、flink的WaterMark（介绍、基本使用、kafka的水印以及超出最大允许延迟数据的处理）介绍及示例 - 完整版

|
By long eventTimestamp, Import Lombok. AllArgsConstructor, Maxallowed WatermarkDrift, Duration Maxallowed WatermarkDrift
| CSDN
Flink 系列文章 一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系列 本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。 3、Flik Table API和SQL基础系列 本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。 4、Flik Table API和SQL提高与应用系列 本部分是table api 和sql的应用部分，和实际的生产应用联系更为密切，以及有一定开发难度的内容。 5、Flink 监控系列 本部分和实际的运维、监控工作相关。 二、Flink 示例专栏 Flink 示例专栏是 Flink 专栏的辅助说明，一般不会介绍知识点的信息，更多的是提供一个一个可以具体使用的示例。本专栏不再分目录，通过链接即可看出介绍的内容。 两专栏的所有文章入口点击：Flink...
Open in Who Shared Issue with article?
Show More