2022-12-20 00:28来源:m.sf1369.com作者:宇宇
时代的发展,使得数据不断增加。传统的数据存储方式远远满足不了需求。想象一下,企业发展过程中,数据越来越多。以往,只能买个存储空间更大的数据库服务器,然后将原有的数据拷贝过去。但这只是一时的补救,并不能满足未来的发展。
我们常常说区块链是分布式数据库,但在这前面要加上“特殊的”这三个字。因为区块链与传统的分布式数据库还是有区别的。
分布式数据库
分布式数据库是将数据分割开来,存储在不同的数据库服务器中,数据多了就多用个服务器。当然,实际当中并不是这么简单的,我们还要考虑服务器之间的链接,怎样快速查找数据等等。
在分布式数据库中,负责存储的服务器节点只存储一部分数据,节点之间是彼此信任的,这些节点组合成一个完整的数据库。
区块链——公有链
公有链运用了分布式存储的技术,它提高了每个节点的权限,每个节点都是个独立的个体。与传统分布式数据库最大的区别是:公有链的节点是彼此制约的。
公有链的节点他们各自就是一个完整的数据库,可以存储公有链上所有的区块数据。由于各节点相互独立,区块链才被称为一个去中心化的分布式数据库。
公有链相对于传统的分布式数据库,有着明晰的优势,由于数据确认需要一半以上的节点共识,使得数据具有不可篡改的特点,而且由于数据存在于多个节点,使得数据理论上是永远不会丢失的。
然而,为了这些优势,公有链存在一些短板。首先,由于每个模块的生成需要多方确认,使得数据生成的效率降低。再一个,虽然区块链采用加密技术来保障用户隐私,然而,由于每个节点都能获得完整的数据,数据是公开的,使得一旦用户泄露了自己的地址,别人就能很容易地知晓其交易记录。
另外,由于每个节点都能存储所有的数据,造成了不必要的浪费,使得数据冗余。
区块链的进化版——T-ABC联盟链
联盟链的特点是区块链由联盟中的成员进行管理。成员推选出1个或多个预选节点负责记账,使得记账由无数个节点限制到有限的节点,大大提高了效率,且保留了不可篡改的特点。而其用户节点只有查询和交易功能,并未存储所有数据。用户想要查询记录,不仅需要地址,还要有对应的私钥,很好地保障用户的隐私。
我们都知道数据在区块链中是分为一个个区块存储的。T-ABC中的普通节点是没有存储所有区块的,每个区块都是从上亿个节点中随机抽取6个节点存储。避免了数据的大量冗余。
有人会问,如果这6个节点都坏了,数据不就丢失了吗?为此,每当一个节点损坏或断网,整个系统会将其存储的数据再随机同步给其他节点,使得每个区块在整个系统中都有6个节点记录,使得数据不会丢失的。
T-ABC联盟链通过由联盟成员管理,限制普通节点查询权限,普通节点不存储完整数据。在分布式数据库基础上,优化了数据不可被篡改,让数据更可信,赋予了节点更高的权限。
mesh路由器一般要进行组网至少需要两台以上的设备。在组网过程中又分为两种组网方式,一个是有线回程的组网,另外一个是无线回程的组网。
首先我们先分析第一种就是有线回程组网,连接的方式非常简单,将你购买的mesh路由器通电,将网线插入你的mesh路由器上,让两台路由器同时处于一个网段,这样有线回程组网就完成了。
第二种组网方式是无线回程组网。无线组网的mesh只需一台设备直接接入互联网,另外一台设备无需插入网线,只要信号能接受到的位置放置第二台mesh路由器,就能做到两个路由器进行无线回程。
云计算的开发需要多种语言共同参与,HADOOP在云计算产品中只是一个底层框架,适合做云盘、分布式计算等底层业务。很少有一种云产品只用一种开发语言解决所有问题的,语言只是工具,关键是要学会在不同的应用场景下,如何正确选择合适的工具。云产品的框架有很多,比如OpenStack是用Python写的,Hadoop是用Java写的。
Ceph架构简介及其特点
Ceph简介
Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。
Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。在经过了数年的发展之后,目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。
Ceph特点
高性能
a. 摒弃了传统的集中式存储元数据寻址的方案,采用CRUSH算法,数据分布均衡,并行度高。
b.考虑了容灾域的隔离,能够实现各类负载的副本放置规则,例如跨机房、机架感知等。
c. 能够支持上千个存储节点的规模,支持TB到PB级的数据。
高可用性
a. 副本数可以灵活控制。
b. 支持故障域分隔,数据强一致性。
c. 多种故障场景自动进行修复自愈。
d. 没有单点故障,自动管理。
高可扩展性
a. 去中心化。
b. 扩展灵活。
c. 随着节点增加而线性增长。
特性丰富
a. 支持三种存储接口:块存储、文件存储、对象存储。
b. 支持自定义接口,支持多种语言驱动。
Hadoop简介及其特点
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。
HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。
云计算的开发语言多样
hadoop和云计算是两回事,HADOOP开发首选JAVA,次选C/C++或者Python云计算就复杂了,不同的应用又不同额选择。很少有一种云产品只用一种开发语言解决所有问题的语言只是工具,关键是要学会在不同的应用场景下,如何正确选择合适的工具。云产品的框架有很多,比如OpenStack是用Python写的,Hadoop是用Java写的。
HADOOP在云计算产品中只是一个底层框架,适合做云盘、分布式计算等底层业务。中间层和上层用什么语言开发取决产品的特性和技术人员的技术特点。
什么是局域网
局域网是指某一区域内由多台计算机互相连通组成的计算机组。利用局域网可以在局域内多台计算机设备之间实现文件管理、应用软件共享、邮件互通和局域通信等功能。
局域网组成及举例:
由特定空间(物理)内的两台计算机组成(如:学生宿舍里两台电脑直接用网线连通就构成了一个“某宿舍内由两台设备组成的局域网”,利用这样的局域网可以互相传递文档等资料);
也可以有某特定空间内的上千台计算机通过路由器(或者交换机)互相连通组成(如:政务大厅内多台计算机设备也可认为是一个局域网)
局网网特点及分类
局域网通常为一个部门或单位所有,具有建网、维护及扩展容易、系统灵活性高等特点。主要特点总结如下:
覆盖的地理范围较小,只在相对独立的范围内互联,如一座或几种的建筑物内(物理空间)。
使用专门铺设的传输介质进行联网,具有传输速率高(大于等于10兆每秒)的特点。
通信延迟时间短,可靠性高。
局域网可以支持多种传输介质。
局域网与广域网的介绍
广域网就是通常意义上的Internet(互联网),是一个遍及全球的巨大网络,而局域网相对广域网而言主要是指小范围内的计算机互联网络。小范围可理解为:一个家庭、一所学校、一栋建筑或者一个政府部门等。比如说:一个不严谨的例子,假如把覆盖全中国的网络视为广域网,那么银川市的网络就可以视为一个局域网。再比如:杨和镇所有政府单位的网络视为广域网,那么你所报考的民生服务大厅的网络就可以视为一个局域网。
以上就是对局域网得到一点介绍,接下来介绍如何搭建一个局域网,以应付考试为目的,答案会比较简单笼括。
如果搭建局域网
step1: <项目评估>评估需要搭建局域网的区域(主要是物理空间)空间,及其设备量。
step2: <材料准备>根据评估结果,准备计算机设备(终端)连通所需要的连通介质(网线),路由器等
step3: <实体连接>利用网线将路由器与计算机(终端机)连接起来,路由器的LAN接口与计算机的网卡接口连接起来。
step4: <网卡功能确认>确认计算机的网卡驱动正常工作,具体确认操作可以通过命令行确认是否安装且运行正常。
step5: <IP地址分配>现在有两种地址分配方式:动态地址分配和静态地址分配。其中,动态地址分配:1>是目前较为常见的方式,有路由器自身来动态的分配地址,无需手动为每台计算机(终端机)分配地址;2>静态地址分配:一般静态IP地址推荐的范围是“192.168.1.1” 至 “192.168.1.254”,每台计算机需要分配一个唯一的IP地址。IP地址配置路径:网络连接——TCP/IP协议——输入IP地址和子网掩码-确认。
step6: <互通性测试>设置完IP地址,接下来进行互通性测试,在搭建的局域网中任意一台终端机上通过“ping”命令确认"当前计算机是否可以与网络中的其他计算机进行互通"。测试结果正常则局域网搭建完成。
以下是一个局域网简图: 终端机ABC…可以通过路由器进行互相连通,同时当路由器与Internet连接后终端机ABC…同样具备连接Internet的功能。
网线链接
网线连接
网线连接
网线连接
通过调制解调器
终端机A
交换机
终端机B
终端机C
终端机...
路由器
互联网Internet
分布式存储方面,以对象存储、软件定义存储、云存储、超融合、ServerSAN......为主,以x86本地存储为核心,构建统一资源池共享存储。
传统的存储以EMC,HDS,NetApp为代表,产品方案以SAN和NAS应用为主。典型的SAN应当属于关系型数据库,数据以块数据为主,所谓结构化数据;而NAS以文件数据为主,可以认为是非结构化数据。期间,也有所谓融合存储或者统一存储,用单一阵列兼顾SAN和NAS应用,所谓SAN+NAS。
简单说下区别:
1、局域网是一种网络组网方式,是感知不到分布式系统的。分布式系统,都是上层应用,也不感知网络是如何组网的。
2、局域网使用路由器交换机等设备,而分布式系统使用计算服务器,存储服务器。设备都不一样。
3、局域网,通常是给一个公司使用的。而分布式系统,是给很多公司使用的。