RAID6-2016

• Ich baue ein Raid-6 aus 8x 2 TB Platten auf. Dazu habe ich 9x Festplatten gekauft:
  • 2 TB Kapazität - 3,5" Formfaktor - SATA 6Gb/s - 7200 U/min
  • 3 verschiedene Hersteller wegen der vergrößerten Varianz des Zeitpunktes des Ausfall

Controller

• Vorrangig nutze ich die OnBoard SATA 6 Gb/s Schnittstellen, eine lasse ich frei für Recovery Szenarien
• Nach einigem Herumprobieren mit Storage-Controllern setzte ich auf PCIe Karten mit Marvell Chipsatz, hier gab es für mich (unter Linux) keinerlei Probleme
• Man muss die RAID Funktion der Controller ja nicht nutzen (gilt für 88SE9220 und 88SE9230)
• Es gibt immer auch Varianten ohne RAID, (88SE9235 und 88SE9215)

RAID - Controller

(deren RAID Funktion ich natürlich nicht nutze!)

• StarTech PEXSAT32
• StarTech PEXSAT34RH
• http://www.dawicontrol.de/ (etwas teuer aber aus Deutschland)
  • DC-624e RAID (Marvell 88SE9230)
  • 2 Sachen stören mich: die beiden eSATA Ports, keine nonRAID (88SE9235) Version verfügbar

NonRAID - Controller

• syba SI-PEX40062 (Marvell 88SE9235, NonRAID)
• HighPoint Rocket 640L (R640L, Marvell 88SE9230, NonRAID)
• http://www.iocrest.com
  • IO-PCE9235-4I (Marvell 88SE9235, NonRAID, 2x Lane)
  • IO-PCE9215-4I (Marvell 88SE9215, NonRAID, 1x Lane)

Super - Aber nicht verfügbar

• 88SE9345 PCIe 2.0 x4 -> 4x SATA 6 Gbps
• 88SE1475 PCIe 3.0 x8 -> 16x SATA 6 Gbps
• 88SE1337 PCIe 3.0 x4 -> 8x SATA 6 Gbps

-> Doch verfügbar? -> andreas(.)filsinger(@)orgamon(.)org

Im Test

• Exsys EX-3508 PCIe - 1x Slot - 1 Lane -> 8x SATA (Silicon Image SIL3132)
  • Läuft direkt unter Linux ohne Problem
  • Er hat 2 "echte" SATA-Ports a 3 Gb/s, diese werden auf 4 Ports per "Port Multiplier" gemultiplext also nominal 1.5 GB/s, effektiv weniger
  • Testergebnis: Funktioniert - jedoch die einzelnen Platten können nur langsam angesprochen werden
• Exsys EX-3516 PCIe - 2.0 2x -> 4x SATA (Marvell 88SE9230)
  • Läuft direkt unter Linux ohne Problem
  • Erkennt alle Platten mit 6 Gbps
  • Ein Jumper deaktiviert das BIOS (was ja in meinem Fall sinvoll wäre), wenn man aber beim Linux Betrieb auf das BIOS verzichtet wird die Karte überhaupt nicht mehr erkannt
  • In Ruhe ist per LED und per Geräusch aktivität an den Platten zu bemerken, keine Ahnung was der hier macht (hat nix mit md zu tun!!!)
  • (Fazit: Durchgefallen)
• HighPoint Rocket 640L (Marvell 88SE9230)
  • komisch, auf dem Marvell Chip steht 88SE9230 es sollte aber ein 88SE9235 sein?! Es war scheinbar zu teuer 2 Board-Layouts zu entwickeln also die Non-RAID Version verwendet auch den RAID fähigen Chip
  • Läuft direkt unter Linux ohne Problem
  • Erkennt alle Platten mit 6 Gbps
  • Nicht mehr BIOS als notwendig, keine LEDs, keine Jumper
  • Fazit: Testsieger

Serien Nummern

• WD Purple
  • S/N: WCC4M0SC7C9R
  • S/N: WCC4M0SC7AR1
  • S/N: WCC4M0XEZ7CH
• SEAGATE BARRACUDA
  • S/N: Z4Z2W81E
  • S/N: Z4Z32SNR
  • S/N: Z4Z2XNWC
• Toshiba DT01ACA
  • S/N: X5RAD3XGSTZ5
  • S/N: X5RAD2GGSTZ5
  • S/N: Y5GHNDBTSTZ5

• Das sind 18 TB, das kostet zusammen 684.93 € (Stand Feb 2016).
• 8 der Platten verwende ich im RAID, eine Platte lege ich daneben für den Fall der Fälle

Block A

Block B

HDD - Cage

Setup Aufbau

HeBu-Musikverlag

!die 64bit - Falle des Ext4!

Partition Size

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     FD00  primary

nach dem reshape kam

[72254.324630] md: md127: reshape done.
[72256.830962] RAID conf printout:
[72256.830966]  --- level:6 rd:7 wd:7
[72256.830969]  disk 0, o:1, dev:sde1
[72256.830970]  disk 1, o:1, dev:sdd1
[72256.830972]  disk 2, o:1, dev:sdc1
[72256.830973]  disk 3, o:1, dev:sdb1
[72256.830975]  disk 4, o:1, dev:sdg1
[72256.830976]  disk 5, o:1, dev:sdf1
[72256.830977]  disk 6, o:1, dev:sda1
[72256.830982] md127: detected capacity change from 8001301774336 to 20003254435840
[72259.591900] VFS: busy inodes on changed media or resized disk md127

also hatte ich anstelle der 8 TB nun 20 TB, dann kam der grosse Schock

1)

resize2fs /dev/md127
resize2fs 1.42.11 (09-Jul-2014)
resize2fs: New size too large to be expressed in 32 bits

• Also der Resize ist NICHT möglich da bei der Erstellung des Filesystems die 64bit Option nicht gesetzt wurde.

2)

tune2fs -l /dev/md127
tune2fs 1.42.11 (09-Jul-2014)
Filesystem volume name:   <none>
Last mounted on:          /srv/smb/ra6
Filesystem UUID:          2fb00d07-5394-4bc5-8f7d-cdaf5ea90d17
Filesystem magic number:  0xEF53
Filesystem revision #:    1 (dynamic)
Filesystem features:      has_journal ext_attr resize_inode dir_index filetype needs_recovery extent flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags:         signed_directory_hash
Default mount options:    user_xattr acl
Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              244183040
Block count:              1953442816
Reserved block count:     0
Free blocks:              227623471
Free inodes:              236320173
First block:              0
Block size:               4096
Fragment size:            4096
Reserved GDT blocks:      558
Blocks per group:         32768
Fragments per group:      32768
Inodes per group:         4096
Inode blocks per group:   256
RAID stride:              128
RAID stripe width:        256
Flex block group size:    16
Filesystem created:       Sun Nov  8 00:32:48 2015
Last mount time:          Mon Mar  7 16:30:20 2016
Last write time:          Mon Mar  7 16:30:20 2016
Mount count:              21
Maximum mount count:      -1
Last checked:             Sun Nov  8 00:32:48 2015
Check interval:           0 (<none>)
Lifetime writes:          12 TB
Reserved blocks uid:      0 (user root)
Reserved blocks gid:      0 (group root)
First inode:              11
Inode size:               256
Required extra isize:     28
Desired extra isize:      28
Journal inode:            8
Default directory hash:   half_md4
Directory Hash Seed:      95862d26-1883-4880-b221-ee78f166846f
Journal backup:           inode blocks

• meine Lösung war: Daten sichern, mkfs neu machen mit der 64bit Option, Daten rücksichern
• Dokumentation entsprechend geändert!: IMMER DAS 64bit FEATURE SCHON VON ANFANG AN EINSCHALTEN AUCH BEI KLEINEN PARTITION BEI DENEN EIN WACHSEN ZU ERWARTEN IST

tune2fs 1.42.11 (09-Jul-2014)
Filesystem volume name:   <none>
Last mounted on:          /srv/smb/ra6
Filesystem UUID:          f0362f20-bf7a-4e6b-9be3-9e3626488036
Filesystem magic number:  0xEF53
Filesystem revision #:    1 (dynamic)
Filesystem features:      has_journal ext_attr dir_index filetype needs_recovery extent 64bit flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags:         signed_directory_hash
Default mount options:    user_xattr acl
Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              305225728
Block count:              4883607040
Reserved block count:     0
Free blocks:              4864141337
Free inodes:              305225717
First block:              0
Block size:               4096
Fragment size:            4096
Group descriptor size:    64
Blocks per group:         32768
Fragments per group:      32768
Inodes per group:         2048
Inode blocks per group:   128
RAID stride:              128
RAID stripe width:        640
Flex block group size:    16
Filesystem created:       Tue Mar  8 15:31:09 2016
Last mount time:          Tue Mar  8 15:41:14 2016
Last write time:          Tue Mar  8 15:41:14 2016
Mount count:              1
Maximum mount count:      -1
Last checked:             Tue Mar  8 15:31:09 2016
Check interval:           0 (<none>)
Lifetime writes:          165 MB
Reserved blocks uid:      0 (user root)
Reserved blocks gid:      0 (group root)
First inode:              11
Inode size:               256
Required extra isize:     28
Desired extra isize:      28
Journal inode:            8
Default directory hash:   half_md4
Directory Hash Seed:      7d24e40b-9935-4dec-8d4d-7dfa965f5942
Journal backup:           inode blocks

/dev/md127       19T  1.3T   17T   8% /srv/smb/ra6