RAID6-2016

Aus OrgaMon Wiki
Zur Navigation springen Zur Suche springen
  • Ich baue ein Raid-6 aus 8x 2 TB Platten auf. Dazu habe ich 9x Festplatten gekauft:
    • 2 TB Kapazität - 3,5" Formfaktor - SATA 6Gb/s - 7200 U/min
    • 3 verschiedene Hersteller wegen der vergrößerten Varianz des Zeitpunktes des Ausfall

Controller

  • Vorrangig nutze ich die OnBoard SATA 6 Gb/s Schnittstellen, eine lasse ich frei für Recovery Szenarien
  • Nach einigem Herumprobieren mit Storage-Controllern setzte ich auf PCIe Karten mit Marvell Chipsatz, hier gab es für mich (unter Linux) keinerlei Probleme
  • Man muss die RAID Funktion der Controller ja nicht nutzen (gilt für 88SE9220 und 88SE9230)
  • Es gibt immer auch Varianten ohne RAID, (88SE9235 und 88SE9215)

RAID - Controller

(deren RAID Funktion ich natürlich nicht nutze!)

  • StarTech PEXSAT32
  • StarTech PEXSAT34RH
  • http://www.dawicontrol.de/ (etwas teuer aber aus Deutschland)
    • DC-624e RAID (Marvell 88SE9230)
    • 2 Sachen stören mich: die beiden eSATA Ports, keine nonRAID (88SE9235) Version verfügbar
  • HighPoint RocketRAID 640L (RR640L, 88SE9230 laut Prospekt, in Wirklichkeit 88SE9235)

NonRAID - Controller

  • syba SI-PEX40062 (Marvell 88SE9235, NonRAID)
  • HighPoint Rocket 640L (R640L, Marvell 88SE9230, NonRAID)
  • http://www.iocrest.com
    • IO-PCE9235-4I (Marvell 88SE9235, NonRAID, 2x Lane)
    • IO-PCE9215-4I (Marvell 88SE9215, NonRAID, 1x Lane)

Super - Aber nicht verfügbar

  • 88SE9345 PCIe 2.0 x4 -> 4x SATA 6 Gbps
  • 88SE1475 PCIe 3.0 x8 -> 16x SATA 6 Gbps
  • 88SE1337 PCIe 3.0 x4 -> 8x SATA 6 Gbps

-> Doch verfügbar? -> andreas(.)filsinger(@)orgamon(.)org

Im Test

  • Exsys EX-3508 PCIe - 1x Slot - 1 Lane -> 8x SATA (Silicon Image SIL3132)
    • Läuft direkt unter Linux ohne Problem
    • Er hat 2 "echte" SATA-Ports a 3 Gb/s, diese werden auf 4 Ports per "Port Multiplier" gemultiplext also nominal 1.5 GB/s, effektiv weniger
    • Testergebnis: Funktioniert - jedoch die einzelnen Platten können nur langsam angesprochen werden
  • Exsys EX-3516 PCIe - 2.0 2x -> 4x SATA (Marvell 88SE9230)
    • Läuft direkt unter Linux ohne Problem
    • Erkennt alle Platten mit 6 Gbps
    • Ein Jumper deaktiviert das BIOS (was ja in meinem Fall sinvoll wäre), wenn man aber beim Linux Betrieb auf das BIOS verzichtet wird die Karte überhaupt nicht mehr erkannt
    • In Ruhe ist per LED und per Geräusch aktivität an den Platten zu bemerken, keine Ahnung was der hier macht (hat nix mit md zu tun!!!)
    • (Fazit: Durchgefallen)
  • HighPoint Rocket 640L (Marvell 88SE9230)
    • komisch, auf dem Marvell Chip steht 88SE9230 es sollte aber laut Marvell ein 88SE9235 sein?! Es ist scheinbar so, dass Marvel hier die Politik geändert hat (nonRAID=88SE9230, RAID=88SE9235)
    • Tatsache ist dass das Board-Layout zwischen RR640L und RR640L völlig identisch ist.
    • Läuft direkt unter Linux ohne Problem
    • Erkennt alle Platten mit 6 Gbps
    • Nicht mehr BIOS als notwendig, keine LEDs, keine Jumper
    • Fazit: Testsieger
    • 29.10.2016: Ausfall des Controllers, ev. auch nach Update auf openSuSE 42.2
  • HighPoint RocketRaid 640L (RR640L, Marvell 88SE9235)
    • identisches Board-Layout im Vergleich zu R640L, jedoch mehr Bestückung:
    • onboard Buzzer
    • Nuvoton Microcontroller
    • I2C Bus Jumper

Serien Nummern

  • WD Purple
    • S/N: WCC4M0SC7C9R
    • S/N: WCC4M0SC7AR1
    • S/N: WCC4M0XEZ7CH
  • SEAGATE BARRACUDA
    • S/N: Z4Z2W81E
    • S/N: Z4Z32SNR
    • S/N: Z4Z2XNWC
  • Toshiba DT01ACA
    • S/N: X5RAD3XGSTZ5
    • S/N: X5RAD2GGSTZ5
    • S/N: Y5GHNDBTSTZ5
  • Das sind 18 TB, das kostet zusammen 684.93 € (Stand Feb 2016).
  • 8 der Platten verwende ich im RAID, eine Platte lege ich daneben für den Fall der Fälle

Block A

Block B

HDD - Cage

Setup Aufbau

HeBu-Musikverlag

!die 64bit - Falle des Ext4!

Partition Size

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     FD00  primary

nach dem reshape kam 

[72254.324630] md: md127: reshape done.
[72256.830962] RAID conf printout:
[72256.830966]  --- level:6 rd:7 wd:7
[72256.830969]  disk 0, o:1, dev:sde1
[72256.830970]  disk 1, o:1, dev:sdd1
[72256.830972]  disk 2, o:1, dev:sdc1
[72256.830973]  disk 3, o:1, dev:sdb1
[72256.830975]  disk 4, o:1, dev:sdg1
[72256.830976]  disk 5, o:1, dev:sdf1
[72256.830977]  disk 6, o:1, dev:sda1
[72256.830982] md127: detected capacity change from 8001301774336 to 20003254435840
[72259.591900] VFS: busy inodes on changed media or resized disk md127

also hatte ich anstelle der 8 TB nun 20 TB, dann kam der grosse Schock

1) 

resize2fs /dev/md127
resize2fs 1.42.11 (09-Jul-2014)
resize2fs: New size too large to be expressed in 32 bits
  • Also der Resize ist NICHT möglich da bei der Erstellung des Filesystems die 64bit Option nicht gesetzt wurde.

2) 

tune2fs -l /dev/md127
tune2fs 1.42.11 (09-Jul-2014)
Filesystem volume name:   <none>
Last mounted on:          /srv/smb/ra6
Filesystem UUID:          2fb00d07-5394-4bc5-8f7d-cdaf5ea90d17
Filesystem magic number:  0xEF53
Filesystem revision #:    1 (dynamic)
Filesystem features:      has_journal ext_attr resize_inode dir_index filetype needs_recovery extent flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags:         signed_directory_hash
Default mount options:    user_xattr acl
Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              244183040
Block count:              1953442816
Reserved block count:     0
Free blocks:              227623471
Free inodes:              236320173
First block:              0
Block size:               4096
Fragment size:            4096
Reserved GDT blocks:      558
Blocks per group:         32768
Fragments per group:      32768
Inodes per group:         4096
Inode blocks per group:   256
RAID stride:              128
RAID stripe width:        256
Flex block group size:    16
Filesystem created:       Sun Nov  8 00:32:48 2015
Last mount time:          Mon Mar  7 16:30:20 2016
Last write time:          Mon Mar  7 16:30:20 2016
Mount count:              21
Maximum mount count:      -1
Last checked:             Sun Nov  8 00:32:48 2015
Check interval:           0 (<none>)
Lifetime writes:          12 TB
Reserved blocks uid:      0 (user root)
Reserved blocks gid:      0 (group root)
First inode:              11
Inode size:               256
Required extra isize:     28
Desired extra isize:      28
Journal inode:            8
Default directory hash:   half_md4
Directory Hash Seed:      95862d26-1883-4880-b221-ee78f166846f
Journal backup:           inode blocks
  • meine Lösung war: Daten sichern, mkfs neu machen mit der 64bit Option, Daten rücksichern
  • Dokumentation entsprechend geändert!: IMMER DAS 64bit FEATURE SCHON VON ANFANG AN EINSCHALTEN AUCH BEI KLEINEN PARTITION BEI DENEN EIN WACHSEN ZU ERWARTEN IST
tune2fs 1.42.11 (09-Jul-2014)
Filesystem volume name:   <none>
Last mounted on:          /srv/smb/ra6
Filesystem UUID:          f0362f20-bf7a-4e6b-9be3-9e3626488036
Filesystem magic number:  0xEF53
Filesystem revision #:    1 (dynamic)
Filesystem features:      has_journal ext_attr dir_index filetype needs_recovery extent 64bit flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags:         signed_directory_hash
Default mount options:    user_xattr acl
Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              305225728
Block count:              4883607040
Reserved block count:     0
Free blocks:              4864141337
Free inodes:              305225717
First block:              0
Block size:               4096
Fragment size:            4096
Group descriptor size:    64
Blocks per group:         32768
Fragments per group:      32768
Inodes per group:         2048
Inode blocks per group:   128
RAID stride:              128
RAID stripe width:        640
Flex block group size:    16
Filesystem created:       Tue Mar  8 15:31:09 2016
Last mount time:          Tue Mar  8 15:41:14 2016
Last write time:          Tue Mar  8 15:41:14 2016
Mount count:              1
Maximum mount count:      -1
Last checked:             Tue Mar  8 15:31:09 2016
Check interval:           0 (<none>)
Lifetime writes:          165 MB
Reserved blocks uid:      0 (user root)
Reserved blocks gid:      0 (group root)
First inode:              11
Inode size:               256
Required extra isize:     28
Desired extra isize:      28
Journal inode:            8
Default directory hash:   half_md4
Directory Hash Seed:      7d24e40b-9935-4dec-8d4d-7dfa965f5942
Journal backup:           inode blocks



/dev/md127       19T  1.3T   17T   8% /srv/smb/ra6
Abgerufen von „https://wiki.orgamon.org/index.php?title=RAID6-2016&oldid=25487“