2023-02-06 18:45来源:m.sf1369.com作者:宇宇
就我的了解SGE大致相当于Hadoop-YARN,多用于超级计算机集群的管理。Hadoop的最大贡献在于HDFS解决了,分布式文件系统,和Google的GFS一样。SGE好像没有强调这一点,而且超级计算机大多数都没有本地磁盘,可能也不需要文件系统管理吧。说白了就是不实用~
大数据企业架构定义可以参照,
大数据企业架构 的
GoogleCode 官网,
数据分析工作虽然隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对决策、业务发展有着举足轻重的作用。
从数据库最终用户角度看,数据库系统的结构分为单用户结构、主从式结构、分布式结构、客户/服务器、浏览器/应用服务器/数据库服务器多层结构。这是数据库外部体系结构。
物理存储结构、逻辑存储结构、内存结构和实例进程结构。这是内部体系结构
大数据各行各业的企业都提供了潜力。正确使用这些大数据信息可能将增加商业价值,帮助您的企业从市场竞争中脱颖而出。如下是几个企业成功应用大数据的案例: 大数据的例子 汽车制造商已经开始使用大数据来了解汽车何时需要返回到车库进行维修。使用汽车发动机的数百个传感器,可以为汽车制造商发送实时的数据信息,这使得制造商甚至比驾驶汽车的司机还要提前知道汽车何时会出现故障。卡车制造商开始使用大数据,基于实时交通条件和客户的需求来改进他们的路由,从而节约燃料和时间。 零售业也开始越来越多的使用大数据,鉴于越来越多的产品均有一个RFID标签能帮助零售商跟踪产品,知道很少某种产品库存缺货,并及时向供货商订购新产品。沃尔玛便是这正确利用大数据这方面的一个很好的例子。当零售商开始识别他们的客户时,就能够更好地建立商店,更好的满足客户的需求。 当然,上述这些只是几个浅显的例子,大数据的可能性几乎是无止境的。不久的将来,我们将讨论在大数据平台上的最佳实践。知道大数据能够提供商业价值是一回事;而企业要知道如何创建正确的架构则又是另一回事了。 大数据结构 大数据有三个特征,使得大数据不同于现有的数据仓库和商业智能。大数据的这三大特点是: 数据量庞大:大数据的数据量相当庞大,更多的时候大数据的数据量可以达到比数TB到PB级字节。 高速度传递:所有这些TB和PB字节的数据能够实时交付,数据仓库每天都需要应付如此高速的数据流。