Sex mit kleinen gelben Haftetiketten

Sooo sieht das aus, wenn demScroob sein RAID-Controller morgens wie irre piept und der Herr dringend nen Lüfter tauschen muß:

1: kaputter Lüfter.
2: Gehäuse, in dem neuer Lüfter schon drin is.

Mmmh… vllt. sollte ich mal nen fsck-Cron einrichten… home ging ja noch… aber /srv hat über ne Stunde zum Checken gebraucht… :-/

(ja, den bösen Error da oben hab ich gesehen. Der is aber eigentlich gar net schlümm…)

So… wenigstens is der Server nu mal wieder entstaubt. Und nen neuen Kernel hab ich vorm Runterfahren auch noch schnell installiert.

Die Lage spitzt sich ja immer weiter zu, morgen wollen wir live gehen. Ein gutes Hochlast-CMS hat natürlich allerlei Mechanismen, um die Last des Servers zu reduzieren. Das geschieht in diversen Formen von Caching oder dem Speichern fertiger Seiten / Partials / Widgets etc. – auch genannt “brennen”.

Für den Livegang morgen sollten natürlich die am Häufigsten aufgerufenen Seiten / Applikationen gebrannt sein.

[12:14:22] <hella> weisst du, ob der dirk inzwischen irgendwen gefunden hat, der die brennjobs baut? 
[12:18:16] <demScroob> öhm mom
[12:18:33] <demScroob> ”das machen wir irgendwann heute abend oder morgen”
[12:18:41] <demScroob> ”wir starten ungebrannt”
[12:18:54] <hella> *morddrohung gelöscht*

Juhu – heute morgen hat mir meine Nachbarin ein Paket in die Hand gedrückt. Innendrin: meine neue Server-Platte.

Leider hatte sich eine von den beiden Platten verabschiedet, die NICHT in einem HotSchwapp-Rahmen stecken, sondern fest eingebaut sind. Daher wars nix mit Operation am offenen Herzen und so wurde mein tänzelnder Server diese Woche zum zweiten und hoffentlich vorerst letzten Mal heruntergefahren.

Karp0tte Platte raus, neue Platte rein, Kabel dran, Saft! Beim Booten im RAID-BIOS die Platte initialisiert und als neue Spare Disk deklariert und Linux gebootet. Als der Apache lief und ich im RAID Manager nach dem rechten sehen wollte, hatte ich schon die erste Mail im Postfach, daß sich mein RAID_1_0-Array die neue Platte unter den Nagel gerissen hat und der Rebuild bei 5% sei. Kurz danach war wieder alles beim Alten.

Jetzt darf ich mich nur noch mit Alternate rumschlagen, daß ich von denen ne neue Platte kriege.

Wie Pinky nun sagen würde: “HappyHappyJoyJoy”.

Aaaaaaargh!!!

Ich habe es vor ein paar Monaten doch tatsächlich geschafft, meinen Server aus seinem Regal auszubauen, zwischenzulagern, den Serverschrank aufzubauen UND den Server dort komplett mit Switch und USV einzubauen OHNE ihn herunterfahren zu müssen. Ja, das war anstrengend.

Und JETZT… ziehe ich ihn so halb wieder raus, gucke mir die vielen bunten Käbelchen so an… und denk mir, ach ja doll, da ist Port 7, die Platte funkt ja noch… dann ziehste mal die 8 raus, machst nen Hottschwapp und guckst mal, obs vllt. nur am Kabel lag.

Dachte ich mir, griff zur sieben und zog kräftig dran. Mit dem Gejaule des RAID-Controllers hatte ich ja gerechnet. Aber weshalb plötzlich das RAID auf einmal komplett weg war, hab ich erst geschnallt, als ich bei mir so dachte “Mmmh… sieben… sieben? WAR DAS NICHT DIE GUTE?!?”

Tja, das hatte dann im Endeffekt – na? was? – genau: einen Reboot zur Folge. Schöne Uptime. ;( Der Dateisystem-Check hat für das verdammte 2TB-Array mindestens ne Viertelstunde gebraucht, Vielleicht sollte ich sowas mal schedulen…

Immerhin habe ich nun zweifelsfrei den Exitus der einen Platte festgestellt und gleich ne neue bestellt. Hoffentlich übermorgen da.

Merken: Fürs nächste Mal Teleskopschienen für den Server besorgen!

Gerade von meinem RAID-Controller eine Mail erhalten, daß mein RAID1-Array out of sync ist, daß es NICHT wiederhergestellt werden konnte und daß IRGENDWAS mit der einen Platte los sein soll.

Ist n super Zeitpunkt dafür, da ich gerade beim Kunden sitze und nicht wegkann. Aber ich hab mal grade alles aus dem gesamten Array gebackupt (oder heißt es gebackupped? Denglisch ist teilweise noch komplizierter als eine der Sprachen für sich…).

Gut: Die Datenmenge beträgt nur ca. 70 GB, war also schnell gesichert (ha, Denglisch ausgetrickst!).

Schlecht: Es handelt sich dabei um sämtliche User- und ein Großteil der Systemdaten des Servers.

Praktisch: Die Userdaten weren sowieso wöchentlich gesichert.

Nachher gleich ma schauen, ob sich ggfs. nurn Kabel gelockert hat oder so. Falls nicht, liegt eine Ersatzplatte innerhalb von 48h bei mir aufm Schreibtisch. Dafür geht danach das Gerenne mit Alternate los. Die Platte ist nämlich nicht mal ein Jahr alt.

Nachtrag:
An alle, die irgendwelche persönlichen Daten auf meinem Server liegen haben: Es ist alles in Ordnung! Es sind und werden keine Daten verloren gehen! Im schlimmsten Fall (die eine Platte IST gecrashed UND die zweite Platte crashed, BEVOR die erste ersetzt werden kann) sind sie für ca. 1-2 Tage nicht zugänglich.

Gerade eben auf einem Entwicklunsgserver eines Kunden:

[mps@s15216496 ~]$ w
 16:19:09 up 58 days, 19:28,  1 user,  load average: 63.04, 63.27, 59.10

Wem das nix sagt: Es handelt sich hierbei vereinfacht ausgedrückt um einen Lastwert, sprich: die Prozessor-Auslastung. Bei einem Wert von 1.00 wäre der Prozessor zu 100% ausgelastet.

Zum Vergleich mein Server daheim:

scroob@capoeira:~$ w
 16:41:20 up 10 days,  3:30,  1 user,  load average: 0,00, 0,00, 0,00

(Das liegt aber auch daran, daß er quasi nüscht zu tun hat. Gott sei Dank habe ich das im Voraus gewusst und einen stromsparenden Prozessor da reingebaut.)

…

Äh, was wollte ich damit sagen?!

SCHEISSE, ist diese Dreckskiste lahm! Arbeiten gerade nicht möglich, daher Zeit für diesen Blogeintrag, bis sich das Operating darum gekümmert hat.

…isses gekommen, mein neues Servergehäuse *streichel*

Bastelstunde heute abend!

Mmmmh… wie ich bloggte, hat ja neulich ein Stromausfall die Uptime meiner Server drastisch reduziert. Bei der Windows-Kiste eher marginal (paar Monate), aber der Linux-Server lief fast ein Jahr. Das wurmt.

Weiterhin hat sich die Windows-Kiste beim Runter- oder Hochfahren glatt von einer Festplatte verabschiedet. War zum Glück ne Systemplatte. Warum Glück? Die steckte in einem Hardware-RAID 1. Neue Platte rein, Mirror Array repliziert und weiter gings.

Allerdings hat die Mühle seit der Umstellung aller Serverdienste auf Linux spätestens seit der Einstellung von TV-Freaks.to jegliche Daseinsberechtigung verloren. Erste Tests mit einem webbasierten Torrentsystem hatte ich eh schon unter Linux laufen. Naja, wenigstens lade ich jetzt keine illegalen Inhalte mehr runter. Aber wenn bald (in 5 Wochen *freu*) VDSL bei mir an die Telefonbuchse klopft, will ich das neueste Ubuntu DVD-Image in 10 Minuten bei mir auf der Platte liegen haben! Und dafür wird kein einzelner Server schnell genug sein.

Aja, aber zum eigentlichen Thema: neuer Server steht an! Ich schustere gerade schon ein bißchen Hardware auf meine Alternate-B2B-Wunschliste. Definitiv werden folgende Komponenten enthalten sein:

• 19″-Serverschrank 9HE
• entsprechendes Gehäuse 3HE
• RAID 5 Controller
• 3x 750GB + 1x Spare
• 2GB Arbeitsspeicher

Bin mal gespannt, wohin mich das monetär führen wird. Ggfs. dauerts mit der Anschaffung noch 1-2 Monate.