NingG +

数据平台系列:海量数据处理

1.1. 关注点

海量数据处理相关内容:

  1. 常用的解决方案
  2. 数据平台的搭建
  3. 数据平台涉及的常见问题

1.2. 简单拆开来说

常用的解决方案:

  1. Hadoop 生态:分布式计算、分布式存储
  2. 自建生态

数据平台的搭建:

  1. 针对具体场景设计数据平台架构
  2. 做好系统监控设施

数据平台常见的问题:

  1. 海量数据时,分布式调优
  2. ETL 时,保证数据不损失/损伤

1.3. 参考来源

  1. http://hadoop.apache.org/
  2. http://spark.apache.org/
Top