1991年互联网的诞生，之后1993年的工作量证明、2002年出现了数字孪生、2008年的比特币、2009年的区块链、2015年的出现了Decentraland、2016年的DAO和2018年的稳定币，这些都是过去30多年来信息技术、数字技术和智能技术的发展与融合，都紧密与数据联系在一起。从最初对大数据的特征定义上突出了其“5V”特征即具有大量（Volumn）、多样（Variety）、高速（Velocity）、价值（Value）、真实（Validity），运用传统的技术难以进行数据问题的解决，因而其“大”的特点尤为突出。由于大数据其自生的规模之大，且蕴含这宝贵的价值，将其称之为新时代的石油，需要专门的技术支撑才能利用其蕴含的价值，对于这些庞大的数据自然技术水平的要求非常高，而且会随着数据的积累而不断的复杂化，自然技术的发展要得跟得上大数据的客观现实。

大数据作为互联网应用普及的产物，反映出了广大用户的行为模式，如：浏览数据、点击数据、地理位置数据、消费数据、机器传感器数据、监控数据等，随着数据的反复积累，其中蕴含着大量的价值，但是对于价值的挖掘难度和成本相对较高，需要特定的技术才能予以解决，因而开源的大数据解决方案应运而生。从行业的分布上，遍布于新兴的电商行业，对传统的政府、交通、医疗、教育、金融、物流等诸多行业也有大数据技术的涉足，一些新兴的行业的崛起还要依靠大数据。