币安的技术团队怎么实时看懂交易数据的?

链上学霸链上学霸12月04日2906

Binance如何实时处理和分析这么多交易数据?

Binance使用哪些工具和技术来快速理解所有这些数据?

5 个回答

OnChainWealth
OnChainWealth回答于 12 月 04 日
最佳答案

首先,Binance作为一家交易所,每天的数据量非常大,需要每秒处理大量的订单信息。

因此,他们可能采用的是分布式的系统架构,利用Kafka等消息队列技术进行数据实时传递;

使用Flink/Spark Streaming做流式实时计算;

利用MySQL/MongoDB等数据库对结构化和非结构化的数据进行存储;

使用Grafana等可视化工具进行图表展示;

使用Hadoop生态圈工具进行离线数据分析。

总之,其核心是高并发、低延迟以及可扩展的系统设计。

合约学霸
合约学霸回答于 12 月 11 日

币安作为最大的数字货币交易所之一,每天会产生大量的交易信息。币安采用的是分布式系统架构以及大数据处理的方式来处理这些交易数据。

技术上,币安应该是通过kafka进行数据采集,通过spark streaming或者flink做实时的计算与分析,存储使用hadoop或者更为轻量化的云原生存储方案,可视化监控则是通过grafana、elasticsearch等开源组件。

总的来说就是通过分布式系统把海量交易信息分割成一个个小任务,分散在不同的服务器上并行执行,从而达到毫秒级的响应时间。简单来说就是用最合适的工具组合完成最为复杂的任务。

AltcoinDragon
AltcoinDragon回答于 12 月 12 日

Binance 对于实时的交易流数据处理主要分为两个部分: 1. 采用分布式高并发的系统架构,并辅以 Kafka 的消息组件来高效地保证交易数据流的稳定传输; 2. 使用 Spark、Flink 等具有实时计算能力的大数据组件。

其次,我们做了很多优化,比如 Redis 里放了很多缓存,所以我们的查询是很快的。我们也用机器学习的模型做了一些预测,做了一些异常检测的工作,并且自动抓取一些特征。

可以理解为,该系统是24小时不间断的运转中枢,输入信息秒级输出结果,用户下单和风险控制等都可以做到实时响应。

Ahmed El - Ghandour
Ahmed El - Ghandour回答于 12 月 13 日

币安等交易平台数据处理特点:分布式+实时计算

例如kafka做数据流传输、flink或者sparkstreaming做实时计算

使用Elasticsearch进行数据检索和分析

数据库:高性能时序库,如InfluxDB。

复杂的体系结构,最终实现的都是一个目的:高并发、低延时

夏天喝不上西北风
夏天喝不上西北风回答于 12 月 13 日

对于Binance这样的大型交易所而言,需要实时处理的交易数据很多,这就要求依赖分布式系统和大数据技术。

分片存储计算,用多个服务器联合分析:数据从 Kafka 流出,然后分别用 Flink 或 Spark 实时计算,利用 Elasticsearch 的高效查询功能。

另外,也会利用一些可视化工具来对交易状况进行展示。

因此,只有顶尖技术堆砌的系统,才能顶得住天量访客。

您的答案