分布式存储原理

分布式存储原理

分布式存储简单的来说,就是将数据分散存储到多个存储服务器上,并将这些分散的存储资源构成一个虚拟的存储设备,实际上数据分散的存储在企业的各个角落。

比如:

假如你要存储10PB的一个视频文件,自己一个人的电脑存储不了,需要存储在多个服务器上,每一个服务器就是一个datanode,当你需要获取文件时,逐一访问效率太低,可以找一个中间人来存放文件在哪台服务器的信息,通过信息可以快速的找到文件。这个中间人就是namenode,存储的有关文件的信息就是元数据。为了数据安全,每一个小的视频(存储单元)复制一份存放到不同服务器上,当有服务器停止运行时,可以通过访问备份来寻找到自己想要的数据,这种存储方式叫做分布式存储。

分布式存储架构由三个部分组成:客户端、元数据服务器和数据服务器。

客户端负责发送读写请求,缓存文件元数据和文件数据。

元数据服务器负责管理元数据和处理客户端的请求,是整个系统的核心组件。

数据服务器负责存放文件数据,保证数据的可用性和完整性。该架构的好处是性能和容量能够同时拓展,系统规模具有很强的伸缩性。

展开阅读全文
分布式存储

SANGFOR 深信服科技 企业级分布式存储 aStor-Backup-1210-SK

750000元

SANGFOR 深信服科技 企业级分布式存储 aStor-Backup-1210-SK

750000元

SANGFOR 深信服科技 企业级分布式存储 aStor-Backup-1210-SK

750000元

SANGFOR 深信服科技 企业级分布式存储 aStor-Backup-1210-SK

750000元

SANGFOR 深信服科技 企业级分布式存储 aStor-Backup-1210-SK

750000元

SANGFOR 深信服科技 企业级分布式存储 aStor-Backup-1210-SK

750000元

SANGFOR 深信服科技 企业级分布式存储 aStor-Backup-1210-SK

750000元

SANGFOR 深信服科技 企业级分布式存储 aStor-Backup-1210-SK

750000元

云分布式存储技术应用

分布式存储系统顾名思义就是将大量的普通服务器、硬盘,通过网络互联,对外作为一个整体提供存储服务。具有可扩展性、可用性、可靠性、 高性能、易维护、低成本等特性。提到分布式存储,基本上都是企业级的产品,比如IBM、华为这些耳熟能详的大品牌,最近有一家比较火的家庭私有云--Chainedbox我家云也做了基于区块链的分布式存储设备,闲来无事简单拆拆设备,看看软硬件到底如何。

外观


包装简洁,主色调为黑色,但是否真的是黑科技还是要打开用用才能知道。包装正中间为我家云的厂家LOGO,具体型号为Chainedbox L1 Pro,内置2T硬盘,为了省事下文将产品简称为我家云。

我家云从外观上看更像一台小型的台式机,金属磨砂机身,质感很强烈;主要配件包含我家云主机、电源适配器、网线与说明书。常见的东西将不露面了,突出一下主体吧。机身右侧同样是我家云的LOGO,这个造型怎么看怎么像1G的写法,代表什么意思?传输1G吗?嘿嘿

我家云左侧贴的是产品的KEY与MAC地址,这两样都是具有唯一性的,注册产品时会用的到。

正面的我家云只有开关键与状态指示灯,简便操作一键开机。

我家云的顶部写有intelligent storage system(智能存储系统),后方的散热孔密度够广,可以对存储的主要部件--硬盘控制器进行有效散热;到底智能与否下面慢慢来。

我家云的背后,依次列出的有Reset按钮、USB3.0、USB2.0、千兆以太网口、电源适配器;说明书中提到重启设备时USB2.0接口不能有设备连接,应该是厂家对USB2.0接口做了定义,当刷新我家云系统时应该用得到,应该就是手机上常说的卡刷。

背面顶部有厂家信息、APP二维码、产品信号与电源输入情况,12V~3A的输入除了带动存储本身外,2T的移动硬盘外接2个功率也是足够的。


系统软件


从官网上看,我家云的APP支持Windows、MacOS、Android、IOS与基于安卓的智能电视系统;笔者将安卓手机APP开启,这时从APP上可以看到我家云的存储空间为5T;为什么包装说明硬盘上2T,系统却显示5T呢?这就是分布式存储的妙用了。


手机版应用笔者最常用的功能就是备份照片、视频,这也是私有云使用最频繁的功能,这手机上设置好需要备份的目录,开启后会将文件备份到对应的文件夹中。

可以按照时间轴对照片进行排序,也可以建立独立的宝宝相册,系统会按照时间对照片进行归纳收藏,还可以分享给亲朋好友共享。

此外的保险箱、双重备份、共享圈、Samba都是不错的功能。由于我家云的本地硬盘做了碎片化处理,并进行了隐私加密功能,因此Samba只能在外接设备中使用。

隆重介绍的是更多里面的云下载功能,和百度离线下载类似,选择好要下载的内容,第一时间会将文件同步到我家云中,只要有资源下载速度可以飙起来,而且云下载完成后直接播放不会有任何卡顿。

Windows客户端更像一款定制开发的文件管理器,使用过百度网盘的朋友一定会非常熟悉;

当然如果你的百度网盘也像我家云有这种11MB/s的传输速度,那就完美了,但是可能吗?我家云实现了内网10M+,外网5M左右的实际传输效果。(具体根据个人网络环境而定,肯定有更快也有慢的,说明数据以笔者测试为准)

TV版本的应用还是略显单薄,只有基础的文件查看、照片浏览与视频播放功能,最新版本为3.1.2,据说厂家马上会有较大程度的优化,这个只能拭目以待了。

拆机

接下来是看看我家云内部到底如何构成的时间了。

拆机第一步将底部橡胶垫取出,拆下螺丝;

螺丝一定保存好,不然组装回去多了几颗螺丝就尴尬了。

个人感觉拆开还是很容易的。

我家云的内置硬盘为东芝(TOSHIBA) 2TB 5700转32M缓存 SATA3 监控级硬盘,这款监控级硬盘具有低耗能,低噪音,大容量,高性能,可以长时间连续工作运行。

我家云的主芯片采用的是瑞芯微RK3328,作为这款为中高端盒子设计的解决方案,RK3328采用了A53架构最大主频1.5GHz,1G内存8G存储,如果单单作为存储传输能力是足够的。

网络模块采用的是RTL8211E 千兆网卡,通过PULSE H5007NL千兆网络滤波器保证传输稳定;RK805-1电源IC对电源适配器做保护。

USB接口方面,主控制器使用的是GL3520芯片,GL3321G USB 3.0 to SATA 6Gb/s Bridge Controller,让USB3.0的数据传输成为可能。

总结

也许大家刚刚对基于分布式存储的我家云有了初步了解,分布式对于数据损坏、灾难恢复有着高效安全的恢复手段,让你不用担心设备损坏从而操作数据丢失,具体灾难恢复,等待笔者的视频测试,祝你们开心就好。

展开阅读全文