RAID6-2015: Unterschied zwischen den Versionen

Aus OrgaMon Wiki
Zur Navigation springen Zur Suche springen
 
(57 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 3: Zeile 3:
   
   
  6x 1 TB Platten
  6x 1 TB Platten
  1x 1 TB Platte als Spare
  2x 1 TB Platte als Spare
  1x NVMe Systemplatte  
  1x NVMe Systemplatte  


Zeile 10: Zeile 10:
== Layout ==
== Layout ==


[[Datei:20180228 165501.jpg|200px]]
{|
|[[Datei:20180228 165501.jpg|200px]]
|[[Datei:20230220 124525.jpg|200px]]
|[[Datei:20230331 143606.jpg|200px]]
|}


* A1|A2|A3|A4|B1|B2|B3|B4 (Bay-Bezeichnungen von Links nach Rechts)
* A1|A2|A3|A4|B1|B2|B3|B4  
** hier im Bild von Oben nach unten
** (Bay-Bezeichnungen von Links nach Rechts wenn man eingebaut auf die Front schaut)


{|class="wikitable"
{|class="wikitable"
Zeile 28: Zeile 34:
|<s>32647390</s><br>Z9CAESQN
|<s>32647390</s><br>Z9CAESQN
|<s>55890888</s><br>Z1N3WJ16
|<s>55890888</s><br>Z1N3WJ16
|<s>Z1N07LHT</s><br>WD-WCC4J1RLS9CR
|<s>Z1N07LHT</s><br>J1RLS9CR
|<s>S251NXAG732168N</s>
|<s>S251NXAG732168N</s>
|36643628
|<s>36643628</s><br>11850193<br>11850196
|32644607
|<s>32644607</s>
|<s>Z1N4BWDK</s><br>Z9CAEV9N
|<s>Z1N4BWDK</s><br><s>Z9CAEV9N</s><br>J1FTRUT3
|3NCSLRE
|<s>J3NCSLRE</s><br><s>Z9CAEV9N</s>
|-
!Device
|sdf
|sdc
|sdd
|
|sdg
|sde
|sda
|sdh
|-
|-
!RAID-Device
!RAID-Device
|spare
|3
|2
|2
|5
|5
|
|
|3
|4<br>0
|4
|
|0
|1
|1
|
|}
|}


Zeile 88: Zeile 84:
   
   
     Number  Major  Minor  RaidDevice State
     Number  Major  Minor  RaidDevice State
       8      8        1        0      active sync  /dev/sda1 Z9CAEV9N
      7      8      97        0      active sync  /dev/sdg1 11850196
       1      8      17        1      active sync  /dev/sdb1 WD-WCC4J3NCSLRE
      6      8      65        1      active sync  /dev/sde1 J1FTRUT3
       9      8      33        2      active sync  /dev/sdd1  Z1N3WJ16
      8      8      81        2      active sync  /dev/sdf1 95441112
       7      8      97        3      active sync  /dev/sdh1  WD-WCAW36643628
      11      8      17        3      active sync  /dev/sdb1 Z9CAESQN
       6      8      65        4      active sync  /dev/sdf1 WD-WCAW32644607
      12      8      113        4      active sync  /dev/sdh1 11850193
       10      8      49        5      active sync  /dev/sde1 WD-WCC4J1RLS9CR
      10      8        1        5      active sync  /dev/sda1 J1RLS9CR
      9      8      33        -      spare  /dev/sdc1 Z1N3WJ16
       11      8      81        -      spare         /dev/sdg1  Z9CAESQN
      13      8      49        -      spare  /dev/sdd1 Z9CAEV9N
 
 
=== 10.03.2023 ===
 
       8      8        1        0      active sync  /dev/sda1 Z9CAEV9N
       1      8      17        1      active sync  /dev/sdb1 J3NCSLRE
       9      8      33        2      active sync  /dev/sdc1 Z1N3WJ16
       7      8      97        3      active sync  /dev/sdg1 36643628
      12      8      129        4      active sync  /dev/sdi1 11850193
      10      8      49        5      active sync  /dev/sdd1 J1RLS9CR
       6      8      65       -      faulty  /dev/sde1 32644607
      11      8      81        -      spare  /dev/sdf1 Z9CAESQN
 
=== 11.03.2023 ===
 
      8      8        1        0      active sync  /dev/sda1 Z9CAEV9N
      1      8      17        1      active sync  /dev/sdb1 J3NCSLRE
      9      8      33        2      active sync  /dev/sdc1 Z1N3WJ16
      11      8      81        3      active sync  /dev/sdf1 Z9CAESQN
      12      8      129       4     active sync  /dev/sdi1 11850193
      10      8      49        5      active sync  /dev/sdd1 J1RLS9CR
      7      8      97        -      faulty  /dev/sdg1 36643628
 
=== 14.03.2023 ===
 
      8      8        1        0      active sync  /dev/sda1 Z9CAEV9N
      1      8      17        1      active sync  /dev/sdb1 J3NCSLRE
      9      8      33        2      active sync  /dev/sdc1 Z1N3WJ16
      11      8      81        3     active sync  /dev/sdf1 Z9CAESQN
      12      8      129        4      active sync  /dev/sdi1 11850193
       10      8      49        5     active sync  /dev/sdd1 J1RLS9CR
      6      8      97        -      spare  /dev/sdg1 36643628
 
=== 31.03.2023 ===
 
      8      8      65        0     active sync  /dev/sde1 Z9CAEV9N
      6      8      81        1      active sync  /dev/sdf1 J1FTRUT3
      9      8      49        2      active sync  /dev/sdd1 Z1N3WJ16
      11      8      33        3      active sync  /dev/sdc1 Z9CAESQN
      12      8      129        4      active sync  /dev/sdi1 11850193
      10      8      17        5      active sync  /dev/sdb1 J1RLS9CR
      7      8      113        -     spare  /dev/sdh1 11850196
 
=== 29.07.2023 ===
 
      8      8      49        0      active sync  /dev/sdd1 Z9CAEV9N 1TB
      6      8      65        1      active sync  /dev/sde1 J1FTRUT3 1TB
      9      8      33        2      active sync  /dev/sdc1 Z1N3WJ16 1TB
       11       8        1        3      active sync  /dev/sda1 Z9CAESQN 1TB
      12      8      113        4      active sync  /dev/sdh1 11850193 2TB
      10      8      129        5      active sync  /dev/sdi1 J1RLS9CR 1TB
      7      8      97        -      spare  /dev/sdg1 11850196 2TB
      sdf 1TB kommt raus!!
 
=== 07.08.2023 ===
 
      7      8      113        0      active sync  /dev/sdh1 11850196    119 h
      6       8      81       1      active sync  /dev/sdf1 J1FTRUT3  3069 h
      8      8      97        2      active sync  /dev/sdg1 95441112      3 h
      11      8      17        3      active sync  /dev/sdb1 Z9CAESQN  31685 h
      12      8      129        4      active sync  /dev/sdi1 11850193    582 h
      10      8        1        5      active sync  /dev/sda1 J1RLS9CR  31657 h
      9      8      49       -      spare   /dev/sdd1 Z1N3WJ16        32098 h
      13      8      65        -      spare  /dev/sde1 Z9CAEV9N        31945 h
 
=== 18.08.2024 ===
 
                                                                Serial  Stunden  Grösse  Problem
      7      8      113        0      active sync  /dev/sdh1 11850196  1225    2      HOT 44°C
      6      8      81        1      active sync  /dev/sdf1 J1FTRUT3 12105    1
      8      8      97        2      active sync  /dev/sdg1 95441112 9052    2
      11      8      33        3      active sync  /dev/sdc1 Z9CAESQN 40731    1
      12      8      129        4      active sync  /dev/sdi1 11850193  1686    2
      10      8      17        5      active sync  /dev/sdb1 J1RLS9CR 40694    1
      9      8      49        -      spare        /dev/sdd1 Z1N3WJ16 41144    1
      13      8      65        -      spare        /dev/sde1 Z9CAEV9N 40991    1


== Log-Buch ==
== Log-Buch ==
Zeile 137: Zeile 209:


   15.02.2023 Entscheidung, auf SSDs mit 2 TB umzustellen
   15.02.2023 Entscheidung, auf SSDs mit 2 TB umzustellen
             2 + 2 + 2 + 2 + 2 + 2 + 2neu + 2neu [2] = 12 TB
             Beispiel für Zukunft: 2 + 2 + 2 + 2 + 2 + 2 + 2neu + 2neu [2] = 12 TB
  10.03.2023 Einbau "11850193", Replace von "32644607"
  10.03.2023 Replace "36643628", neue 3=Z9CAESQN
  31.03.2023 Add WD-1TB J1FTRUT3 as Spare
  31.03.2023 Add SSD-2TB 11850196 as Spare
  31.03.2023 Replace <s>J3NCSLRE</s> with J1FTRUT3
  ??.??.2023 J3NCSLRE sollte ausgebaut werden
  11.06.2023 md/raid:md127: read error corrected (8 sectors at 1448711824 on sdb1=J1RLS9CR=Rolle 5)
  07.08.2023 Remove J3NCSLRE
            Switch Z9CAEV9N from Role 0 to Role Spare
            Add SSD-2TB 95441112 as new 2 Spare
            Switch Z1N3WJ16 from Role 2 to Role Spare
 
[[Datei:SSD-232495441112.jpg|200px]]
 
18.08.2024 warum ist sdh sooo heiß? 44 °C, das ist eine SSD!!!


== Reserve ==
== Reserve ==


* 1 Netzteil  
* 1 Netzteil  
* 1 HDD
* <s>1 HDD</s>


== Sicherungskonzept ==
== Sicherungskonzept ==
Zeile 156: Zeile 243:
** J:\ täglich eine Woche lange auf externen Datenträger B
** J:\ täglich eine Woche lange auf externen Datenträger B
** <code>journalctl -e -nall -t bakexternal</code>
** <code>journalctl -e -nall -t bakexternal</code>
* Server-Config nach J:\OrgaMon\Linux-Server-Config\


== crontab ==
== crontab ==

Aktuelle Version vom 18. August 2024, 14:26 Uhr

4 TB nutzbare Kapazität, erstellt am Fri Nov 13 23:29:12 2015
auf maximal 16 TB erweiterbar, da ext4 ohne "64bit" Option

6x 1 TB Platten
2x 1 TB Platte als Spare
1x NVMe Systemplatte

Layout

  • A1|A2|A3|A4|B1|B2|B3|B4
    • hier im Bild von Oben nach unten
    • (Bay-Bezeichnungen von Links nach Rechts wenn man eingebaut auf die Front schaut)
Eigenschaften/Bay A1 A2 A3 A4 B1 B2 B3 B4
Serial 32647390
Z9CAESQN 		55890888
Z1N3WJ16 		Z1N07LHT
J1RLS9CR 		S251NXAG732168N 36643628
11850193
11850196 		32644607 Z1N4BWDK
Z9CAEV9N
J1FTRUT3 		J3NCSLRE
Z9CAEV9N
RAID-Device 3 2 5 4
0 		1

Devices

          Version : 1.2
    Creation Time : Fri Nov 13 23:29:12 2015
       Raid Level : raid6
       Array Size : 3906521088 (3725.55 GiB 4000.28 GB)
    Used Dev Size : 976630272 (931.39 GiB 1000.07 GB)
     Raid Devices : 6
    Total Devices : 7
      Persistence : Superblock is persistent

    Intent Bitmap : Internal

      Update Time : Fri Jan  3 10:42:50 2020
            State : clean
   Active Devices : 6
  Working Devices : 7
   Failed Devices : 0
    Spare Devices : 1

           Layout : left-symmetric
       Chunk Size : 512K

Consistency Policy : bitmap

             Name : linux-9st1:0
             UUID : 2ca7d214:9c6bfab4:b2ecf28b:72df44ca
           Events : 43021

   Number   Major   Minor   RaidDevice State
      7       8       97        0      active sync   /dev/sdg1 11850196
      6       8       65        1      active sync   /dev/sde1 J1FTRUT3
      8       8       81        2      active sync   /dev/sdf1 95441112
     11       8       17        3      active sync   /dev/sdb1 Z9CAESQN
     12       8      113        4      active sync   /dev/sdh1 11850193
     10       8        1        5      active sync   /dev/sda1 J1RLS9CR
      9       8       33        -      spare   /dev/sdc1 Z1N3WJ16
     13       8       49        -      spare   /dev/sdd1 Z9CAEV9N


10.03.2023

      8       8        1        0      active sync   /dev/sda1 Z9CAEV9N
      1       8       17        1      active sync   /dev/sdb1 J3NCSLRE
      9       8       33        2      active sync   /dev/sdc1 Z1N3WJ16
      7       8       97        3      active sync   /dev/sdg1 36643628
     12       8      129        4      active sync   /dev/sdi1 11850193
     10       8       49        5      active sync   /dev/sdd1 J1RLS9CR
      6       8       65        -      faulty   /dev/sde1 32644607
     11       8       81        -      spare   /dev/sdf1 Z9CAESQN

11.03.2023

      8       8        1        0      active sync   /dev/sda1 Z9CAEV9N
      1       8       17        1      active sync   /dev/sdb1 J3NCSLRE
      9       8       33        2      active sync   /dev/sdc1 Z1N3WJ16
     11       8       81        3      active sync   /dev/sdf1 Z9CAESQN
     12       8      129        4      active sync   /dev/sdi1 11850193
     10       8       49        5      active sync   /dev/sdd1 J1RLS9CR
      7       8       97        -      faulty   /dev/sdg1 36643628

14.03.2023

      8       8        1        0      active sync   /dev/sda1 Z9CAEV9N
      1       8       17        1      active sync   /dev/sdb1 J3NCSLRE
      9       8       33        2      active sync   /dev/sdc1 Z1N3WJ16
     11       8       81        3      active sync   /dev/sdf1 Z9CAESQN
     12       8      129        4      active sync   /dev/sdi1 11850193
     10       8       49        5      active sync   /dev/sdd1 J1RLS9CR
      6       8       97        -      spare   /dev/sdg1 36643628

31.03.2023

      8       8       65        0      active sync   /dev/sde1 Z9CAEV9N
      6       8       81        1      active sync   /dev/sdf1 J1FTRUT3
      9       8       49        2      active sync   /dev/sdd1 Z1N3WJ16
     11       8       33        3      active sync   /dev/sdc1 Z9CAESQN
     12       8      129        4      active sync   /dev/sdi1 11850193
     10       8       17        5      active sync   /dev/sdb1 J1RLS9CR
      7       8      113        -      spare   /dev/sdh1 11850196

29.07.2023

      8       8       49        0      active sync   /dev/sdd1 Z9CAEV9N 1TB
      6       8       65        1      active sync   /dev/sde1 J1FTRUT3 1TB
      9       8       33        2      active sync   /dev/sdc1 Z1N3WJ16 1TB
     11       8        1        3      active sync   /dev/sda1 Z9CAESQN 1TB
     12       8      113        4      active sync   /dev/sdh1 11850193 2TB
     10       8      129        5      active sync   /dev/sdi1 J1RLS9CR 1TB
      7       8       97        -      spare   /dev/sdg1 11850196 2TB
      sdf 1TB kommt raus!!

07.08.2023

      7       8      113        0      active sync   /dev/sdh1 11850196    119 h
      6       8       81        1      active sync   /dev/sdf1 J1FTRUT3   3069 h
      8       8       97        2      active sync   /dev/sdg1 95441112      3 h
     11       8       17        3      active sync   /dev/sdb1 Z9CAESQN  31685 h
     12       8      129        4      active sync   /dev/sdi1 11850193    582 h
     10       8        1        5      active sync   /dev/sda1 J1RLS9CR  31657 h
      9       8       49        -      spare   /dev/sdd1 Z1N3WJ16        32098 h
     13       8       65        -      spare   /dev/sde1 Z9CAEV9N        31945 h

18.08.2024

                                                               Serial   Stunden  Grösse  Problem
      7       8      113        0      active sync   /dev/sdh1 11850196  1225    2       HOT 44°C
      6       8       81        1      active sync   /dev/sdf1 J1FTRUT3 12105    1
      8       8       97        2      active sync   /dev/sdg1 95441112  9052    2
     11       8       33        3      active sync   /dev/sdc1 Z9CAESQN 40731    1
     12       8      129        4      active sync   /dev/sdi1 11850193  1686    2
     10       8       17        5      active sync   /dev/sdb1 J1RLS9CR 40694    1
      9       8       49        -      spare         /dev/sdd1 Z1N3WJ16 41144    1
     13       8       65        -      spare         /dev/sde1 Z9CAEV9N 40991    1

Log-Buch

14.02.2016 Produktiv
      2017 Ausfall einer Platte, Platte hinzugefügt
28.02.2018 defekte Platte ausgebaut, Spare Platte dazugemacht
01.03.2018 Vollständiger Lesecheck OK
05.09.2018 sdf fiel durch I/O Errors auf, durch das spare ersetzt
12.10.2018 sdf durch eine neue Platte ersetzt (nur Hardware)
16.10.2018 sdf ist nun spare
30.11.2019 Vollständiger Lesecheck, sdb fiel durch Lesefehler massiv auf, durch spare sdf ersetzt
           Betrieb ohne Spare, jedoch read-check 100% ok
03.12.2019 Besuch vor Ort, geklappere am Server, "sdf" wird vom raid6 rausgeworfen während ich da bin!
          "sdf" ist auf "Faulty", array ist degraded
04.12.2019 sdb - stromlos geschaltet
           "Z1N3WJ16" neu eingebaut, als "sdb" erkannt, als spare hinzugefügt->sofortiger resync, Erfolg!
            (1. Platte)
           sdf - Datenkabel abgezogen
           "Z1M626HH" neu eingebaut, als "sdf" erkannt, ABER: Fehler bei gdisk, lehne Platte ab
            (2. Platte) wird nicht mehr eingesetzt, ausgebucht!
           Beschaffung von 4 weiteren Platten
11.12.2019 A2,B3 ausgebaut, neues Netzteil
           A2 +"Z1N3WJ16" /sdf (Rolle "2")
           B3 +"Z9CAEV9N" /sdb (Rolle "Spare")
           data scrubbing
20.12.2019 -sdd [RD=0] Z1N07LHT mit 54413 Betriebsstunden, ersetzt durch spare sdb Z9CAEV9N
           +sdi WD-WCC4J1RLS9CR am SAS 1/P1 (neu)
           -sda [RD=5] WD-WCAW32647390 mit 54086 Betriebsstunden
           +sdj Z9CAESQN am SAS 1/P2 (neu)
           +nvme, 
           +openSUSE 15.1 (bisher 42.1)
           +APC USV
27.01.2020 Lesefehler bei "sde" (WD-WCC4J1RLS9CR)
30.12.2020 ein Festplattenlüfter (Front, 3 Pin) macht Lärm, Austausch durch Kunde
28.08.2021 +nvme Samsung 980 PRO
           +openSUSE 15.3 (bisher 15.1)
13.09.2021 Lesefehler bei "sde" (WD-WCC4J1RLS9CR)


 15.02.2023 Entscheidung, auf SSDs mit 2 TB umzustellen
            Beispiel für Zukunft: 2 + 2 + 2 + 2 + 2 + 2 + 2neu + 2neu [2] = 12 TB
 10.03.2023 Einbau "11850193", Replace von "32644607"
 10.03.2023 Replace "36643628", neue 3=Z9CAESQN
 31.03.2023 Add WD-1TB J1FTRUT3 as Spare
 31.03.2023 Add SSD-2TB 11850196 as Spare
 31.03.2023 Replace J3NCSLRE with J1FTRUT3
 ??.??.2023 J3NCSLRE sollte ausgebaut werden
 11.06.2023 md/raid:md127: read error corrected (8 sectors at 1448711824 on sdb1=J1RLS9CR=Rolle 5)
 07.08.2023 Remove J3NCSLRE
            Switch Z9CAEV9N from Role 0 to Role Spare
            Add SSD-2TB 95441112 as new 2 Spare
            Switch Z1N3WJ16 from Role 2 to Role Spare


18.08.2024 warum ist sdh sooo heiß? 44 °C, das ist eine SSD!!!

Reserve

  • 1 Netzteil
  • 1 HDD

Sicherungskonzept

  • Firebird: Stündliche Sicherungen auf die Systemplatte (nvme) zur vollen Stunde
  • Firebird: Sicherungen um 06 Uhr, 9-17, 23 Uhr, jeweils in der Minute 30, jeweils 2 Tage zurück
  • Firebird: Tägliche Sicherung in .\Datensicherungen, 4 Tage
  • OrgaMon-Verzeichnis: SicherungenAnzahl=12,5,5,5,*
  • J:\ Minor, 3 Sicherungen (wöchentlicher Wechsel) auf System "backup"
  • J:\ Major, 10 Sicherungen (täglicher Wechsel) auf System "backup"
  • externe Datensicherung durch Eigenentwicklung "bakexternal"
    • J:\ täglich eine Woche lange auf externen Datenträger A
    • J:\ täglich eine Woche lange auf externen Datenträger B
    • journalctl -e -nall -t bakexternal
  • Server-Config nach J:\OrgaMon\Linux-Server-Config\

crontab

#
# Datenbank sichern
#
00  *           * * * root /root/firebird-backup-ssd.sh
30  6,9-17,23   * * * root /root/firebird-backup-ra6.sh 

#
# Firebird
#
00 10 * * * root chmod -R 777 /srv/firebird
Abgerufen von „https://wiki.orgamon.org/index.php?title=RAID6-2015&oldid=32766“