Produktionsdatenbank gelöscht: GitLab.com war länger nicht erreichbar

Gegenwärtig ist der Softwareprojekt-Hosting-Dienst GitLab.com nicht erreichbar. Der Grund liegt offenbar darin, dass einer der in den Niederlanden beheimateten Administratoren des Systems gestern einen leeren Ordner entfernen wollte, da er in ihm den Grund für Replikationsprobleme der zum Einsatz kommenden PostgreSQL-Datenbank vermutete. Der Admin war jedoch auf einem anderen Computer angemeldet, als er dachte, wodurch er wohl statt des Ordners die gesamte Produktionsdatenbank gelöscht haben muss.

Leider versagten in der Folge anscheinend auch etliche Backup-Mechanismen. Das Backup der PostgreSQL-Datenbank konnte zum Beispiel nicht zum Laufen gebracht werden, da die Binaries zum Starten nicht mehr mit der aktuellen Version kompatibel waren. Die in Microsoft Azure gehaltenen Snapshots bezogen sich nur auf die NFS-Server (Network File System), nicht jedoch auf die Datenbank. Die in AWS S3 (Simple Storage Service) vorgehaltenen Backups lassen sich wohl auch nicht nutzen, sie sind zuletzt wohl keinem Monitoring unterzogen worden. Auch das Testen der Datenwiederherstellung scheint in jüngster Zeit stiefmütterlich behandelt worden zu sein.

Der GitHub-Konkurrent gibt seit dem Vorfall regelmäßig über seinen Twitter-Account Auskunft und verweist teilweise stündlich, mittlerweile teilweise im Takt weniger Minuten auf den Status der Kopierarbeiten der Datenbank. Noch müssen sich Nutzer von GitLab allerdings gedulden. Auf Google Document aktualisiert das Unternehmen fortwährend seine Informationen zum Unfall. On-Premises-Nutzer von GitLab sind davon offenbar nicht betroffen.

[Update 1.2.17 19:20 Uhr]:

Offensichtlich ist GitLab wieder vollständig erreichbar. Laut einem Tweet könnte der Status von Merge Requests inkonsistent sein. Ein Push zum Default-Zweig sollte das Problem beheben. Eventuell müssen Entwickler anschließend den Merge Request manuell schließen.

Ob und welche Daten durch den Ausfall dauerhaft verloren wurden, ist derzeit noch nicht erkennbar. Eine Antwort auf den obigen Tweet spricht von zwei gestern erstellten Projekten, die verschwunden sind. Ein anderer Nutzer berichtet, dass zwar GitLab wieder online sei, seine Repositories jedoch nicht. Dagegen sind die Antworten auf den Tweet zur Wiederherstellung des Dienstes weitgehend positiv, dankbar und verständnisvoll. (ane)