---
title: 分布式批量解决方案
author: ['']
date: 
summary: 适用于网络贷款核算、核心批量核算、统一对账平台等分布式跑批典型场景。
tags: ['统一','海量','弹性','批量','高效']
category: 行业解决方案
url: /solution/distributed-batch-solution
order: 3
---

## 行业挑战

为支撑数字金融的发展，金融行业信息化架构从传统单体集中式向复杂分布式架构转型，处理的业务种类随业务发展快速迭代、处理的数据量级动态弹性增长，通常每日处理的数据量级达到 TB 级。现有方案在分布式批量架构的痛点为：

- 数据暴涨后集群处理能力不足，集群缺乏弹性扩展能力；
- 复杂数据库技术栈，数据分散到不同数据库，缺乏灵活性和扩展性。
![分布式批量行业挑战.png](media/distributed-batch-solution/1.png)

## 解决方案

**平凯数据库分布式批量数据处理技术架构**

- 联机或批量应用实时或批量将各个业务流水、账务明细、产品信息等海量数据写入平凯数据库；
- 平凯数据库根据业务数据量的增长进行弹性扩缩容；
- 分布式调度处理程序根据流水明细等静态数据进行批量处理，将任务切分给执行节点执行，结合分布式数据库的特性，提供批量处理、高效写入、弹性计算等核心分布式批量数据处理能力。

![分布式批量技术架构.png](media/distributed-batch-solution/2.png)

**基于平凯数据库打造分布式批量弹性架构**

- 联机或批量应用实时或批量将各个业务产生的海量数据写入平凯数据库；
- 批量调度程序统一负责批量任务的运行管理和监控，并根据业务运行情况进行应急扩容或补偿操作；
- 基于分布式数据库的弹性及高可用架构能力，分布式调度处理程序可以根据业务数据量对执行节点进行弹性调度，打造统一分布式批量弹性处理架构。

![分布式批量弹性架构.png](media/distributed-batch-solution/3.png)

**基于平凯数据库打造“联机+核算”分离的分布式批量弹性架构**

- 联机或批量应用实时或批量将各个业务产生的海量数据写入平凯数据库；
- 通过平凯数据库提供的 CDC 能力或应用系统现有的 ETL 机制，实现将批量待处理数据准实时同步到批量处理数据库；
- 基于平凯数据库的弹性及高可用架构能力，分布式调度程序对批量处理数据库进行跑批业务处理，实现联机与批量核算交易物理分离，打造“联机+核算”分离的分布式批量弹性处理架构。

![联机+核算分离分布式批量架构.png](media/distributed-batch-solution/4.png)


## 方案优势

一、满足大数据场景下海量数据存储。

二、分布式架构整体弹性扩缩容。

三、联机与核算分离。

- 实现联机及批量应用交易海量高频多点写入，批量调度高效弹性执行；
- 通过应用联机业务与会计核算分离，实现联机业务与批量核算业务相互隔离互不影响。