flume 插件 1. flume介绍 apache flume是一个传输工具,舜飞科技数据中心使用flume进行实时数据传输,传输数据量10000 events/s,10M/s,上线一年没挂过,非常稳定 舜飞使用flume主要有以下场景: file->kafka:使用sunteng-tail-source和sunteng-kafka-channel,不需要sink kafka->hdfs:使用sunteng-kafka-channel和hdfs-sink,不需要source 2. 插件介绍 tail-source 支持断点续传 不修改原文件的元数据信息 支持多级目录*号匹配 kafka-channel 修改自官方的kafka-channel 去掉header存储,去掉avro序列化,保证kafka里面就是可读数据 4. 作者 @chzyer