通用大数据平台架构设计

  |   0 评论   |   3,872 浏览

背景

这是在公司内部的一次分享会上的PPT,对公司大数据平台的现状以及近期的规划做了一下梳理,汇集成下面几页的几张架构图。

大数据平台作为公司的支撑部门,目标是提供通用、方便的解决方案,因此,平台可能会出现相互之间功能有重叠的组件

数据体系架构

部门多了以后,很容易出现重复建设、标准不一的问题,因此需要从组织架构的层面解决,将大数据平台的职能单独抽离出来,为各业务部门提供通用的解决方案。大数据平台专注于底层的生态,业务部门专注于业务开发,以求各自有最高效的产出。

image.png

大数据平台架构

这部门也是技术栈的整体情况,部分零碎的东西没有列出

image.png

数据流架构

image.png

数据接入

我们平台的特点就是数据源的类型繁多,因此需要各种对应的接入方案

image.png

大数据门户

平台组件多了以后,对应的需要管理的系统也就多了,因此需要一个整体的门户系统,来解决应用集成、单点登录、统一权限等功能,我们将这些实现在天机门户里

image.png

数据仓库

平台当中的数据多了以后,使用的数据的难度也会逐渐加大,为了实现有效的数据治理,我们引入了数据仓库的方案

image.png

日志系统

日志系统是一个通用的东西,包括实现的监控、以及离线的分析报表等,都离不开日志系统

image.png


读后有收获可以支付宝请作者喝咖啡