raid5容量损失

作者：0620AMD

1、iDRAC

    服务器的设计通常是放在机房里的，所以他的远程运维是必备的功能，而Dell提供的工具就是iDRAC。iDRAC被称为Integrated Dell Remote Access Controller，也就是集成戴尔远程控制卡，这是戴尔服务器的独有功能。简单地说，iDRAC卡相当于是附加在服务器上的一台计算机，通过这台计算器控制管理服务器。接通电源并连接至网络以后，就可以通过iDRAC对系统进行监视、管理、更新、故障排除和修复。非常有用的几个功能：远程开关机、远程引导、远程安装系统、远程查看服务器的风扇/电源/故障等信息。有了iDRAC至少不需要待在服务器边上了，不需要显示器不需要键盘鼠标，安装系统也不需要做启动盘了，只要把iso文件映射到CD/DVD就可以实现远程引导安装。

2、系统引导

    上一篇随着SSD已经讲到系统是通过U盘的Clover引导，然后Clover在载入ssd中的omv并启动。这种方式能很好解决R720不支持扩展ssd启动，特别是对大的系统引导非常有帮助。

a. CloverBootloader是一个系统引导管理的工具，可以引导windows、linux和OS X (Hackintoshes）。会自动侦测电脑中有的系统并采用图形化的界面提供引导服务。可以从GitHub中下载CloverBootloader。苹果系统可以下载pkg文件，其他可以使用iso文件。

b. 我的系统是苹果，下载安装pkg文件并运行

选择正确的安装位置，指向到你的U盘，完成配置后点击安装即开始制作U盘的安装

3、基础系统选择

    经过对几种开源的nas系统测试和比较最终选择了OpenMediaVault（OMV）。OMV基于Debian开发，稳定性相当好。系统比较轻，用起来还算顺手、可扩展性好、用的人也不少发版积极、目前已经到了6.0，支持电源管理。严格上讲OMV更像是一个Debian的图形管理工具。选定了nas软件系统，那么接下来需要考虑的第一个问题是最底层的系统用什么。一个方案是直接用 OMV作为基础系统，把所有其他像虚拟机这些都放在OMV里。另一个方案是选择其他作为基础系统，OMV只是在基础系统上的一个子系统。有另外一个基础系统的好处是将OMV限制在 nas的基础功能，其他都运行在另外的系统里，有很好的隔离性，能最大程度的确保nas基础功能的简单和稳定性。当然这个基础系统也同时必须拥有非常好的稳定性，Exsi是很好的一个选择，商业软件，稳定性很好，使用简单，而且Exsi支持各种系统备份，这个很重要，有系统备份的话万一系统被搞挂了可以快速恢复。经过安装测试，各方面确实都很好，唯一可惜的是Exsi不支持休眠。经过权衡最后还是选择了OMV作为基础系统。这样OMV本身的备份就需要借助其他工具了，目前我用的是Clonezilla，OMV自身带有一个叫kernel的插件，当然也可以单独下载官方版本的clonezilla，两个用法基本一致。如果使用kernel的clonezilla可以在OMV里设置通过Clonezilla启动，如果是官方版本的可以通过远程引导系统，然后对系统进行备份。强烈建议养成勤备份系统这个非常好的习惯，虽然麻烦一点，但是万一出问题的时候就能体会到备份有多重要。

4、保护数据方案

选定了基础系统之后非常重要的就是选择合适的数据保护方案。常见的数据保护方案有：

a. RAID

架构上，通过RAID控制器就是将多块磁盘组合，在操作系统层我们看到的是一个或多个逻辑磁盘。技术上，RAID主要采用磁盘镜像技术、条带化技术和奇偶校验技术实现高性能、可靠性、容错能力和扩展性。最常见的使用也最广的我估计应该就是RAID了。RAID分为标准RAID和混合RAID，常见标准RAID有RAID0、RAID1、RAID5和RAID6，场间混合RAID有JBOD、RAID7和RAIDn+n（比如RAID10，RAID50）。成品nas通常也是支持RAID。

RAID0数据安全性较低，同组中任一硬盘发生问题就会造成数据遗失。RAID1相对比较安全，完整镜像。我的第一个nas就是两盘位，采用raid1，在坏掉一块硬盘的时候我依然可以读出所有数据。但是存储空间就只能使用一半了 ，空间利用率非常低。raid5在空间利用率上好了很多，但是至少需要三块硬盘，需要额外的运算资源，仅能忍受 1 个硬盘损毁。raid6运算量比 RAID 5 大、空间利用率比 RAID 5 低，能忍受2个硬盘损毁。

通常家用在考虑可用性的时候会选择RAID5，如果一块热备盘，一块校验盘，那么将损失两块盘的存储空间，这个还是有点肉痛的。对于大容量硬盘除了考虑空间损失还要考虑数据重建的时间成本，我测试过在少量数据的情况下，5块16T硬盘，其中3块作为数据盘，一块校验盘一块热备盘，数据重建足足花了三天时间。如果再考虑数据重建成功率，有点难以接受。

需要明确的是：RAID容错及校验机制实现的是高可用性和可靠性，并不能保证数据的安全。

b. ZFS

ZFS是一个文件系统，但是带了很多有用的特性。根据openzfs介绍，zfs是一个在传统文件系统的基础上叠加了lvm的功能。具备的特性包括：

Pooled storage 基于存储池的管理

Copy-on-write COW，写时拷贝，而不是直接改写

Snapshots 支持快照，这个我之前的内容中提到过

Data integrity verification /p>

RAID-Z 类似于RAID5，但是支持三个级别，RAID-Z1, RAID-Z2, RAIDZ3

Maximum 16 Exabyte file size 文件大小几乎无限制

Maximum 256 Quadrillion Zettabytes storage 存储池大小几乎无限制

针对Dataset还有：

clone，可以对dataset进行克隆，

send/recv，可以对dataset进行备份压缩，传输。

dedup，可以对数据进行去重

compress，zfs支持lz4这个解压缩超快的压缩算法，实时压缩数据而不会损失太多性能

l2arc，支持分层存储，可以用SSD缓存热数据，让常用的数据可以缓存在SSD上提升性能。

ZFS在各方面看起来都非常优秀，根据网上介绍，ZFS在扩展的时候将非常麻烦，需要重建一套完整新的硬盘组进行整体替换，这一点我是无法接受的。

c. btrfs

是一个支持copy-on-write (COW)的文件系统，由Oracle公司于2007年设计并使用，2013年进入Linux内核稳定发布.Btrfs的强大之处，在于实现了很多先进特性的同时，还保持了很高的容错能力、可扩展性以及可靠性。个人对btrfs不太熟

支持的特性包括：

大文件支持，16EiB最大卷和文件大小

集成了卷管理功能，可以以卷的方式动态地增减设备，实现硬盘资源池化；

高效的数据完整性check，如基于cow的自恢复（self-healing）、基于checksum的数据清理（data scrubbing）；

高性能的读写/只读快照，得益于cow，增量快照和备份非常直接、灵活且低成本；软raid支持，数据和元数据的stripe和mirror生产环境级别支持；

透明的压缩，支持lzo和zlib；

在线去碎片（online defragmentation）；

数据去重（data deduplication）。

d. SnapRaid+MergerFS

根据官方的描述：mergerfs是一个联合文件系统，旨在简化跨多个存储设备的文件存储和管理。它类似于mhddfs、unionfs和aufs。他不是将文件分拆到各个不同的硬盘，也不是raid0，他只是将多个文件系统简单的联合在一起。同时具备众多优秀特性。

通过mergerfs，能将多个物理硬盘组成一个分区文件夹，而且支持不同格式混用，比如ext4与ntfs混合为一个分区文件夹。这一点感觉和LVM比较类似。但是mergerfs支持随时可以将硬盘移除或者加入新的硬盘。而移除的硬盘的数据不会被破坏，更优秀的是还能在其他电脑里把数据读出来。新买硬盘或是想把现有数据的硬盘加到硬盘组里，硬盘数据也不会被清除，这对管理文件，是非常方便的。另外还可以自由定义以什么策略将文件写到哪个硬盘，我选择的是采用哪个硬盘剩余空间最大就写到哪个硬盘，这样可以确保数据平均分布在不同的硬盘。这些特性将带来一个硬盘损坏不会影响其他硬盘的数据的特性，而且可以自由加减硬盘而不影响原有数据，也没有重建的过程。这对于尽可能的保护数据是非常有利的。当然光光mergerfs对数据保护是非常不够的，所以需要在此基础上引入snapraid。

根据官方描述：SnapRAID是磁盘组的备份程序。它会存储数据的奇偶校验信息，支持最多可从六个磁盘故障中恢复。SnapRAID主要针对家庭媒体中心，有很多大文件很少更改。这一点也很适合家用NAS，因为家用NAS中的文件绝大部分都很少改动。除了能从 磁盘故障中恢复之外，他还有很多好的特性：

a. 所有数据都经过哈希处理，以确保数据完整性并避免静默损坏。

b. 如果故障磁盘太多，无法进行恢复，则只会丢失故障磁盘上的数据。其他磁盘中的所有数据都是安全的。

c. 如果意外删除了磁盘中的某些文件，可以将其恢复。

d. 可以从已经有数据的磁盘开始使用。

e. 磁盘可以有不同的大小。这一点非常适合家用利旧。

f. 可以随时添加磁盘。

g. 它不会锁定硬盘中的数据。可以随时停止使用SnapRAID，而无需重新格式化或移动数据。

h. 要访问文件，启动单个磁盘，这样既节省了电源，又减少了噪音。

无论几个硬盘使用snapraid都只需要一个硬盘作为snapraid的交验盘，也就是说只损失一个盘的存储空间。这一点要比raid5（如果加了热备盘）节省。

mergerfs+snapraid，这个方案从两个产品的特性来说是非常适合家用nas的。经过仔细对比和综合考虑，主要是考虑数据安全性，简便性，空间使用率，性能等因素。我最终选择了这个方案。

如果你已经有一台非常满意，性能足够的nas，而且只是想扩展存储空间，不想管理两台nas。那么还有一个方案，就是将新的设备存储空间创建为iscsi 客户端，然后挂载到QNAP，这样QNAP就可以像用本地盘一样使用新的扩展空间。这是我能想到最方便的方案了。性能也不错。有一点需要注意的是iscsi客户端是一个大文件，所有的数据都存在这个大文件里，在iscisi服务器以外是无法被读取的。

从数据安全的角度来说，omv+mergerfs+snapraid是不够的，还需要在此基础对数据进行分层，我们可以将数据分为这么几类：

1、类似照片、家庭视频这样的数据，是生活的重要记录，承载着对生活的记忆。这类数据是不能丢失了，一旦丢失就无法在重来。我们将这一类数据划分到最重要的数据。对这类数据，我的方案是主nas上一个拷贝，每天自动和扩展备份盘双向同步，同时每日在dell的nas上进行备份。三个拷贝以确保任何一个系统出问题后不会丢失。

2、工作历史或一些日常资料，比较重要但是丢失并不会导致巨大问题的，主nas一个拷贝，dell的nas一个拷贝，每天双向同步。

3、类似电影、软件等数据，即使丢失也不会有问题，只在dell的nas上留一个拷贝。

5、系统备份

omv-extras：安装kernel插件后会有两个非常有用的工具GParted和Clonezilla,具体用法这里不介绍了，网上很多。当有一天系统出问题的时候你会感谢自己的明智和勤快。

至此，一台能用的自建nas就差不多了

欢迎一起讨论...

查看文章精彩评论，请前往什么值得买进行阅读互动

贺软会4980raid 5做法 现在有12块500G 硬盘 做raid5 请问什么做法? -
俞媚滕17625773740 ______ 服务器的raid功能相比存储有一定局限性,一般一个raid5组里不要超过8块盘性能比较好. 对于12个槽位,可进行如下操作: 1、每6个槽位划分为一个组. 2、每个组里5块盘做一个raid5,1块盘做热备.这样兼顾容量、速度和安全冗余.

贺软会4980raid 0,1,5 的区别 -
俞媚滕17625773740 ______ RAID 0: RAID 0使用一种称为＂条带＂(striping)的技术把数据分布到各个磁盘上.在那里每个＂条带＂被分散到连续＂块＂(block)上,数据被分成从512字节到数兆字节的若干块后,再交替写到磁盘中.第1块被写到磁盘1中,第2块被写到...

贺软会4980HP服务器,8块1T硬盘,分两个RAID5 -
俞媚滕17625773740 ______ 2种情况:1. 8块硬盘,分别是4块做一组RAID5,另外4块再做一组RAID5.这样的话,你要损失2块硬盘.2. 8块硬盘做成RAID5,在配置过程中再将RAID分成2个虚拟磁盘.这样下来就是一个RAID group 下2个虚拟盘,而且2个都是RAID5,只损失一块硬盘.

贺软会4980RAID5坏掉一个盘还能正常工作么 -
俞媚滕17625773740 ______ 还是我来告诉你吧!你的RAID5是否做过热备,如做了热备的话,在坏了一个硬盘情况下系统可以正常运行的.但考虑到系统安全性的情况下尽快更换硬盘. 如没做过热备,在坏了一块硬盘的情况下系统会停机的,只有换了硬盘后才会正常工作.

贺软会4980raid5 有6块硬盘,现在又三块硬盘损坏,数据是否会丢失,请高手们帮忙解答! -
俞媚滕17625773740 ______ 数据是不可能丢失的在没有确切解决办法前切忽自已操作. 要想不丢失数据请偿试下列方式:应该可以的!RAID 5 是一种存储性能、数据安全和存储成本兼顾的存储解决方案!RAID 5不对存储的数据进行备份,而是把数据和相对应的奇偶校验...

贺软会4980RAID5 RAID10选哪个? -
俞媚滕17625773740 ______ 看预算,就是你打算花多少钱.还有你打算用来做什么. RAID5:分布式奇偶校验的独立磁盘结构 RAID5的读出效率很高,写入效率一般,块式的集体访问效率不错.因为奇偶校验码在不同的磁盘上,所以提高了可靠性,允许单个磁盘出错....

贺软会4980raid 对磁盘数量的需求 -
俞媚滕17625773740 ______ 至少要两块硬盘才可以组RAID,无论你是要组0还是1都是要两块硬盘以上,这个就要看你组成怎么样的RAID,现在的单位用R1+5的比较多,R0 :2块、R1:2块、R0+R1: 4块、R3 ?R5 ?:3块、R0+R5 :6块、R1+R5:6块.打个比方,如果我想要组建R0+R1,R0,最少2块,那么再上面就是4块,是成对的增加的R0+R1最少4块,那么再加就是要6块了,如果要说2的倍数,那可以当作是一个公式.

贺软会4980RAID5 硬盘报警之后数据丢失如何恢复 -
俞媚滕17625773740 ______ 展开全部1,RAID5数据以块为单位分布到各个硬盘上.不对数据进行备份,而是把数据和与其相对应的奇偶校验信息存储到组成RAID5的各个磁盘上,并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上.当RAID5的一个磁盘数据损坏后...

贺软会4980怎么样修复损坏的raid5 - NAS存储 -
俞媚滕17625773740 ______ 硬盘的数据恢复1、误格式化硬盘数据的恢复 在DOS高版本状态下,格式化操作format在缺省状态下都建立了用于恢复格式化的磁盘信息,实际上是把磁盘的DOS引导扇区,fat分区表及目录表的所有内容复制到了磁盘的最后几个扇区中(因为后...

贺软会4980请问RAID0阵列里单独的一块硬盘拿出来,有方法看见里面的数据吗? -
俞媚滕17625773740 ______ 不能. RAID0由两块或以上硬盘构成,硬盘上的存储空间条带化,这些条带再按顺序构成逻辑盘供用户使用,因此,raid0的空间利用率是100%.因为raid0没有奇偶校验,没有冗余,不需要进行计算,因此性能非常高,常用于非编和数据处理等应用,也因为没有冗余,如果任何一块成员盘损坏,阵列崩溃,所有数据不能访问. 一般条带大小有8k,16k,32k,64k,128k,256k,更大的也有,比较少见,如果逻辑盘存储的文件大于条带大小,将会以条带的大小分布在每块成员盘上.如果拿出raid0的一块盘,等于只拿到整个硬盘(逻辑盘,raid0)的1/n(构成raid的盘数),将不能访问数据.