主页 > 数据处理 > 什么叫大数据?

什么叫大数据?

2021-10-20 15:58来源:m.sf1369.com作者:宇宇

本人工作岗位是大数据咨询顾问,从事大数据行业多年,IT行业十年经验。

大数据是一个统称,是相对于小数据而说的。比如以前采用ORACLE SQL MYSQL 数据库存储的数据基本是几十G到几百G,而且大多以结构化的数据为主。但现在随着互联网的爆发,数据量越来越大(从GB、TB、PB、ZB),类型越来越多(结构化传统数据库的数据、半结构化网页、文件、邮件,非结构化的视频、图片、音频),所以原来的数据库技术已经无法满足需求了,所以才有了大数据。

大数据几个关键的技术如下:

1.存储能力。大数据平台可支持结构化(常规数据库存放的规范化数据)、半结构化(文档、网页、邮件)、非结构化的数据存储(视频、图片、音频) ,并且可以支持分布式存储,可以很方便的扩展,成本也很低。

2.计算能力。可以支持大批量离线计算(PB级、亿级大量数据)和实时计算(低延迟毫秒急出结果)。

3.AI能力。支持多种算法,机器学习、神经网络等算法,可开发很多人工智能应用。

4.为什么需要大数据平台。因为传统的ORACLE SQL数据库对非结构化数据处理不好,并且不支持分布式存储和计算,对单机的性能要求很高,导致成本很高,所以需要大数据平台。

相关推荐

车联网企业国内有哪些?

数据处理 2023-12-23

注册计量师-请教贴

数据处理 2023-12-19

逆光照片怎么处理

数据处理 2023-12-08