Flume拦截器interceptor开发
Flume除了提供强大的Source,Sink以及Channel之外,还提供了Interceptor机制,在Source端获取数据后,可以立即对数据进行处理。
除了Flume提供的系统Interceptor拦截器之外,用户还可以通过自定义的方法利用代码实现更为复杂且灵活的拦截器。
Flume除了提供强大的Source,Sink以及Channel之外,还提供了Interceptor机制,在Source端获取数据后,可以立即对数据进行处理。
除了Flume提供的系统Interceptor拦截器之外,用户还可以通过自定义的方法利用代码实现更为复杂且灵活的拦截器。
Flume在大数据环境下,通常用来进行数据的搬运,它提供了丰富的Source和Sink组件,使得我们可以很方便的进行各组异构环境下的配置。KafkaSink是其中较为普遍使用的sink组件,它支持Flume将采集到的数据发送到Kafka消息队列中。
在Flume提供的KafkaSink的相关配置参数中,有一些与kafka的topic以及分区相关的配置参数,可以帮助我们在面对多Topic或多分区的情况下,更灵活地利用Flume的Sink机制,将数据分发到正确的队列中。