NingG +

数据平台系列:数据平台架构

特别说明:整理了一个 ppt,数据平台:初探.pdf

1. 概要

核心问题:

设计、实现数据平台,构建公司的数据能力

下文分开来说,简单拆解几个要点。

1.1. 为什么要构建数据能力:数据的价值?

数据有哪些价值?

  1. 服务质量:系统的监控、告警、自动降级,提升可用性;快速、准确定位服务瓶颈;提前预测服务能力(节假日)
  2. 系统运营成本:机器、带宽的利用率,耗电量等
  3. 业务运营成本:业务指标,用户停留时常、访问路径(漏斗模型)
  4. 用户体验/商业价值:用户的时间有限,如何有限时间内,尽可能多的达成交易
  5. 电商的推荐
  6. 电商的个性化搜索
  7. 电商的广告投放
  8. 战略方向:用户增长、市场突破口/竞争壁垒、业务发展的关键节点(年度计划)
  9. 投机/投资:量化交易等(群体收益,忽略单词的成败)

千头万绪,怎么入手?

1.2. 如何构建数据能力:整体脉络?关键点?

核心:Garbage In, Garbage Out

  1. (介绍含义:林家翘等)
  2. (插图:in,process,out)

思路很清晰:

  1. 输入:来源
  2. 处理:ETL、Model
  3. 输出:Value、View、Visualization(数据可视化)

时间维度,根据实时性不同:

  1. 批量处理,数据系统:1h~10d
  2. 准实时,数据系统:2s~10 mins (必要时,可以优化)
  3. 实时,数据系统:0~2s

1.3. 数据能力:演进?数据平台

自动化脚本 –> 系统 –> 平台

很重要的一点:数据平台自身的监控、升级、维护。

数据平台:Watchdog + Shackle

2. 数据平台架构

2.1. IN:数据

数据有哪些?

  1. 用户行为:停留时长、访问路径、来源、使用的设备
    1. 前端埋点
    2. 后端埋点
  2. 应用数据:业务数据、应用运行状态数据(访问量、响应时间)
  3. 系统数据:系统负载、内存、网络

2.2. 收集数据

可靠、快速、解耦。

数据的可靠语义:

  1. 数据不丢失
  2. 数据不重复发送

典型场景:

  1. 历史数据:Agent 启动之前,已经有数据了
  2. 间断数据:数据产生过程中,Agent 挂掉了,一段时间之后,重启
  3. 突发数据:海量数据产生,超过 Agent 处理峰值

Agent 的拓扑结构:树状、层级缓冲

2.3. 数据处理

ETL + Process

2 大类思路:

  1. 延迟处理:存储原始数据,需要结果时,触发任务计算结果
    • 适用场景:高频低耗时交互操作、低频高耗时任务
  2. 及时处理:对数据经过一系列处理后,存储中间结果/最终结果
    • 适用场景:推送类场景、事件触发的场景

数据里发掘规律:(切合业务)

  1. 分类
  2. 聚类
  3. 关联规则
  4. 时间序列

2.4. OUT:信息

回到原点:为什么要这么折腾?为了获取信息。

Top