Flink面试系列-01
Flink面试系列-01 1. 简单描述一下什么是 Flink? Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。并且Flink提供了数据分布、容错机制以及资源管理等核心功能。 Flink提供了诸多高抽象层的API以便用户编写分布式任务: DataSet API,对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方

2022年7月17日
大约 11 分钟
Flink面试系列-02
Flink面试系列-02 1. 如何做 Flink 压力测试和监控? 1、产生数据流的速度如果过快,而下游的算子消费不过来的话,会产生背压。背压的监控可以使用Flink Web UI(localhost:8081)来可视化监控,一旦报警就能知道。一般情况下背压问题的产生可能是由于sink这个操作符没有优化好,做一下优化就可以了。比如,如果是写入Elastic

2022年7月17日
大约 10 分钟
Flink面试系列-03
Flink面试系列-03 1. Flink 任务延迟高,如何解决这个问题? 在Flink的后台任务管理中,可以看到Flink的哪个算子和task出现了反压。最主要的手段是资源调优和算子调优。 资源调优即是对作业中的Operator的并发数(parallelism)、CPU(core)、堆内存(heap_memory)等参数进行调优。 作业参数调优包括:并行度

2022年7月17日
大约 8 分钟