Flume 构建高可用可扩展的海量日志采集系统 自动发货

Flume 构建高可用可扩展的海量日志采集系统

发布时间: 2020-02-20

类型 视频 授权 免费 百度网盘 自动发货 发布者 itkec

¥免费

立即下载 加入收藏

   关注度:983 ℃

开通VIP会员 享受全站资源免费下载

视频详情:

课程名称:Flume 构建高可用、可扩展的海量日志采集系统


内容简介:

《Flume:构建高可用、可扩展的海量日志采集系统》从Flume 的基本概念和设计原理开始讲解,分别介绍了不同种类的组件、如何配置组件、如何运行Flume Agent 等。同时,分别讨论Source、Channel 和Sink 三种核心组件,不仅仅阐述每个组件的基本概念,而且结合实际的编程案例,深入、全面地介绍每个组件的详细用法,并且这部分内容也是整个Flume 框架的重中之重。之后,讲解拦截器、Channel选择器、Sink 组和Sink 处理器等内容,它们为Flume 提供灵活的扩展支持。最后,介绍了Flume 的高级使用,如何使用Flume 软件开发工具集(SDK)和Embedded Agent API,如何设计、部署和监控Flume 生产集群。

总而言之,《Flume:构建高可用、可扩展的海量日志采集系统》是一本理论结合实战,深度、广度兼备的海量日志采集系统的著作。


作者简介:

Hari Shreedharan是Cloudera的一名软件工程师,他工作于Apache Spark、Apache Flume和Apache Sqoop。他也是Flume项目的一个提交者和PMC成员,帮助项目的方向做决定。


课程目录:

译者序 ........................................................................... v

序 ................................................................................xiii

前言 ............................................................................... x

第1 章 认识Apache Hadoop 和Apache HBase ............ 1

分布式文件系统HDFS ..........................................................................................1

HDFS 的数据格式 ...........................................................................................3

处理HDFS 中的数据 ......................................................................................4

Apache HBase ........................................................................................................4

总结 .......................................................................................................................5

参考文献 ................................................................................................................6

第2 章 用Apache Flume 处理流数据 ............................ 7

我们需要Flume .....................................................................................................7

Flume 是否适合呢? .............................................................................................9

Flume Agent 内部原理 .........................................................................................10

配置Flume Agent .................................................................................................13

Flume Agent 之间的相互通信 ..............................................................................17

复杂的流 ..............................................................................................................17

复制数据到不同目的地 ........................................................................................20

动态路由 ..............................................................................................................21

Flume 的无数据丢失保证,Channel 和事务 ........................................................22

Flume Channel 中的事务 ...............................................................................23

Agent 失败和数据丢失 ........................................................................................25

批量的重要性 ......................................................................................................26

重复怎么样? ......................................................................................................27

运行Flume Agent .................................................................................................27

总结 .....................................................................................................................29

参考文献 ..............................................................................................................30

第3 章 源(Source) .................................................. 31

Source 的生命周期 ...............................................................................................31

Sink-to-Source 通信 .............................................................................................33

Avro Source ...................................................................................................34

Thrift Source .................................................................................................37

RPC Sources 的失败处理 ..............................................................................39

HTTP Source ........................................................................................................40

针对HTTP Source 写处理程序* ..................................................................42

Spooling Directory Source ....................................................................................47

使用Deserializers 读取自定义格式* ............................................................50

Spooling Directory Source 性能.....................................................................55

Syslog Source .......................................................................................................55

Exec Source ..........................................................................................................59

JMS Source ..........................................................................................................61

转换JMS 消息为Flume 事件* .....................................................................63

编写自定义Source* .............................................................................................65

Event-Driven Source 和Pollable Source ........................................................66

总结 .....................................................................................................................73

参考文献 ..............................................................................................................73

第4 章 Channel ......................................................... 75

事务工作流 ..........................................................................................................76

Flume 自带的Channel .........................................................................................78

Memory Channel ...........................................................................................78

File Channel ..................................................................................................80

总结 .....................................................................................................................86

参考文献 ..............................................................................................................86

第5 章 Sink ............................................................... 87

第6 章 拦截器、Channel 选择器、Sink 组和

第7 章 发送数据到Flume* ....................................... 155

第8 章 规划、部署和监控Flume ............................... 185


课程截图:

1.png

版权信息:本站所有资源均收集于互联网或会员发布,仅供学习与参考,请勿用于商业用途,如有侵犯您的版权,请您出示版权证明及时联系客服,我们将在24小时之内删除。

暂无评论

嘿,我来帮您!