摘要

适读人群 ：各层次数据库开发人员
-使用Hadoop进行数据存储和建模的着眼点和思路
-将数据输入、输出系统的适用方案
-MapReduce、Spark和Hive等数据处理框架介绍
-数据去重、窗口分析等常见Hadoop处理模式应用
-在Hadoop上采用Giraph、GraphX等图形处理工具
-综合使用工作流以及Apache Oozie等调度工具
-以Apache Oozie、Apache Spark Streaming和Apache Flume进行近实时流处理
-点击流分析、欺诈检验和数据仓库的架构案例

Hadoop应用架构 内容简介

本书就使用Apache Hadoop端到端数据管理方案提供专业架构指导。其他书籍大多针对Hadoop生态系统中的软件，讲解较为单一的使用方法，而本书偏重实践，在架构的高度详细阐释诸多工具如何相互配合，搭建出打磨之后的完整应用。书中提供了诸多案例，易于理解，配有详细的代码解析，知识点一目了然。

为加强训练，本书后半部分提供了详细的案例，涵盖常见的Hadoop应用架构。无论是设计Hadoop应用，还是将Hadoop同现有数据基础架构集成，本书都可以提供详实的参考。

Hadoop应用架构 目录

序

前言

第一部分　考虑Hadoop应用的架构设计

第一章　Hadoop数据建模

第二章　Hadoop数据移动

第三章　Hadoop数据处理

第四章　常见Hadoop处理范式

第五章　Hadoop图处理

第六章　协调调度

第七章　Hadoop近实时处理

第二部分　案例研究

第八章　点击流分析

第九章　欺诈检测

第十章　数据仓库

附录　A Impala中的关联

索引

作者简介

Hadoop应用架构 精彩文摘

1.1　数据存储选型

基于 Hadoop 构建解决方案时，最基本的决策之一是确定如何在 Hadoop 中存储数据。Hadoop 没有所谓的标准数据存储格式。但是跟标准文件系统相同，Hadoop 能够以任意一种格式存储数据，存储为文本、二进制、图像或者其他格式都可以。为了在存储和处理上更加优化，Hadoop 为很多格式内置了支持选项。这意味着 Hadoop 用户对数据拥有全部的控制权，有大量的选项可以选择。这不仅适用于采集到的原始数据，也适用于数据处理过程中产生的中间数据，以及数据处理后的导出数据。这也就是说，要以最佳方式存储数据，你需要做出很多决定。