数据传输的质量:金融业务对数据传输有什么要求?

例子说明

  • 券商与交易所的交互流程;
  • 券商发给交易所的数据:事务数据,正确性,消息的一次性

交易数据

限流

常见互联网算法:

  • 漏斗算法: 请求放固定桶,匀速处理请求;
  • 令牌桶算法:系统将令牌匀速放入桶内,满之后溢出。消费者每处理一个请求,需要消耗一个令牌,确保消息处理的匀速。

如何选择:

  • 券商:当两个不同组织之间的金融系统进行对接的时候,接收方一般要假设发送方是恶意的。因此交易所需要限制券商的频次。比如一秒多次,所以,券商可以选择令牌桶。
  • 交易所: 会对每个券商做限流,也会对整体流量做限流,确保不达到系统承载上线。

由于做了限流,需要处理上下游不能处理消息的情况。

市场数据

市场数据指的是金融市场成交信息; 例如股票成交价

由于券商算法是处理的是所有人的交易数据,不需要事务操作。因此可以存在丢数据的存在。

非实时市场数据

非实时是指对延时要求不是特别高的使用场景

传输方式:订阅/发布

优化思路:数据时效性节省容灾成本;由于数据的时效性较强,又可丢失,比如可以将kafka副本数减少为0,提升消息处理速度。

实时市场数据

特殊部署,减少光速影响

席位费,同机房主机服务,减少物理距离。

层级的系统架构

交易所收到消息后,通过广播的方式发送到数据节点;数据节点按照优先级通知vip客户,然后通知下一层数据节点;最下层节点通过推送方式采用非实时的方式通知客户。

数据压缩

要求不高,可以使用pb结构;要求高,可以使用金融的FIX通讯协议(发送变动部分)

0%