long eventTimestamp

一、watermark如何生成 punctuated:每条数据后都会插入当前事件时间解析出来的watermark periodic:周期性生成，默认是200m生成一个watermark 在新版本中punctuated已经被标记为过时(当前版本1.18.1) DataStreamSource.assignTimestampsAndWatermarks(WatermarkStrategy.

1）生成 Watermark 1.Watermark 策略简介 为了使用事件时间语义，Flink 应用程序需要知道事件时间戳对应的字段，即数据流中的每个元素都需要拥有可分配的事件时间戳。 通过使用 TimestampAssigner API 从元素中的某个字段去访问/提取时间戳。 时间戳的分配与 watermark 的生成是齐头并进的，表明 Flink 应用程序事件时间的进度，可以通过指定 WatermarkGenerator 来配置 watermark 的生成方式。 使用 Flink API 时需要设置一个同时包含 TimestampAssigner 和 WatermarkGenerator 的 WatermarkStrategy。 WatermarkStrategy 工具类中也提供了许多常用的 watermark 策略，用户也可以自定义 watermark 策略。 WatermarkStrategy 接口如下： public interface WatermarkStrategy<T> extends TimestampAssignerSupplier<T>,...

2 事件时间与 Watermark 不同于处理时间（processing time），事件时间（event time）是各个事件（记录）在生产设备上的发生时间。通常来说，事件时间在进入 Flink 系统之前，就已经嵌入到了每条记录中，即事件时间完全取决于数据，而不是 Flink 系统中的某个时钟。 事件时间的生成方式多种多样，因此也有着各不相同的特性，例如： Kafka 的 message 时间戳，在只消费单个分片时严格单调递增，但在多个并发同时消费多个分区时则无法保证在下游算子中可以单调递增 在 APP 端采集并传回后端的客户操作时间，因为设备性能问题、网络延迟问题、后端异步接口等原因，无法保证有序 Flink 或其他实时任务生产的数据，根据上游任务的设计逻辑不同，不一定能保证有序 虽然在很多场景下，无法保证 source 数据的有序性，但是在一些场景下，我们却必须依赖事件时间进行关联，例如： 根据业务需要，需要将 30 分钟内的触发痒点信息与用户付费行为进行关联 —— 使用事件时间构造按用户 ID 构造滑动窗口进行关联 根据性能需要，将用户 10 秒内的高频操作记录合并处理...