In der Nacht von heute auf morgen, Donnerstag, den 20. September, stehen wieder einmal Wartungsarbeiten in unserem Hauptrechenzentrum bei SysEleven in Berlin an. mite wird zwischen 0 und 8 Uhr MESZ mehrere kurze Verschnaufpausen einlegen müssen und daher insgesamt bis zu 30 Minuten nicht verfügbar sein. Die Arbeiten sind notwendig, um Sicherheitsupdates einzuspielen, die wiederum einen Neustart unserer Server erfordern. Wir bitten um euer Verständnis.

~~
Update: Die Wartungsarbeiten wurden um 3:01 Uhr erfolgreich abgeschlossen. mite war insgesamt für 15 Minuten nicht erreichbar.

Julia in Maschinenraum

In der Nacht von heute auf morgen, Donnerstag, den 12. April stehen wieder einmal Wartungsarbeiten an. mite wird zwischen 0:30 und 1:00 Uhr MESZ insgesamt bis zu 10 Minuten nicht verfügbar sein.

Wir ziehen mite auf neue Server samt neuer Serverarchitektur um, und das lässt sich leider nicht ganz ohne Verschnaufpause bewerkstelligen. Wir bitten um euer Verständnis – manchmal ist so etwas notwendig, um auch künftig Geschwindigkeit, Stabilität und Sicherheit auf gutem Niveau halten zu können. Übrigens ziehen wir zwar auf neue Server, setzen jedoch weiterhin auf unseren bisherigen Hoster, SysEleven aus Berlin, der uns in den letzten Jahren prima unterstützt hat.

Falls euch in den kommenden Tagen irgendeine Ungereimtheit auffallen sollte, meldet euch bitte mit möglichst vielen Details bei uns, gern per Mail. Wir haben natürlich vorab ausführlich getestet, doch laufen im Alltagseinsatz manche Prozesse unter Last vielleicht doch noch einmal einen Tacken anders. Merci vorab & mite ahoi!

~~
Update: Den Serverumzug haben wir um 0:36 Uhr abgeschlossen, mite war sechs Minuten nicht verfügbar. Aus unserer Sicht sieht alles fein aus.

Julia in Maschinenraum

In der Nacht von heute auf morgen, Dienstag, den 16. Januar stehen wieder einmal Wartungsarbeiten in unserem Hauptrechenzentrum an. mite wird zwischen 0 und 8 Uhr MEZ mehrere kurze Verschnaufpausen einlegen müssen und daher insgesamt bis zu 45 Minuten nicht verfügbar sein. Die Arbeiten sind notwendig, um Sicherheitsupdates und Updates einzuspielen, die wiederum einen Neustart unserer Server erfordern. Wir bitten um euer Verständnis.

~~
Update: Die Wartungsarbeiten wurden um 2:40 Uhr erfolgreich abgeschlossen. mite war insgesamt für 22 Minuten nicht erreichbar.

Julia in Maschinenraum

In der Nacht von heute auf morgen, Donnerstag, den 19. Oktober stehen wieder einmal Wartungsarbeiten in unserem Hauptrechenzentrum an. mite wird zwischen 0 und 8 Uhr MESZ mehrere kurze Verschnaufpausen einlegen müssen und daher insgesamt bis zu 45 Minuten nicht verfügbar sein. Die Arbeiten sind notwendig, um Sicherheitsupdates einzuspielen, die wiederum einen Neustart unserer Server erfordern. Wir bitten um euer Verständnis.

~~
Update: Die Wartungsarbeiten wurden um 2:22 Uhr erfolgreich abgeschlossen. mite war insgesamt für 18 Minuten nicht erreichbar.

Julia in Maschinenraum

In der Nacht von Mittwoch auf Donnerstag, den 20.7. stehen zwischen 0 und 8 Uhr MESZ Wartungsarbeiten in unserem Hauptrechenzentrum an. mite wird innerhalb dieses Zeitfensters insgesamt 30 bis 60 Minuten nicht verfügbar sein. Die Verschnaufpause ist notwendig um Sicherheitsupdates einzuspielen, die wiederum einen Serverneustart erfordern. Wir bitten um euer Verständnis.

~~
Update: Die Wartungsarbeiten wurden um 2:48 Uhr erfolgreich abgeschlossen. mite war insgesamt für 22 Minuten nicht erreichbar.

Julia in Maschinenraum

Gestern Morgen, am 3. Mai, war mite für einen Teil der Nutzer leider nicht erreichbar. Ursache der Störung waren Routingprobleme zwischen unserem Hauptrechenzentrum von SysEleven in Berlin und der Deutschen Telekom AG. Betroffen waren folglich manche, nicht jedoch alle Nutzer, die über die Telekom, Töchter wie Congstar oder auch die Swisscom ins Netz gehen. Die Netzwerkprobleme begannen gegen 7 Uhr CEST und dauerten bis 8:45 Uhr an, als die DTAG den Fehler behob.

Unser Pardon für diese Störung. Uns ist nur allzu bewusst, wie stark solch eine Nicht-Erreichbarkeit von mite eure Arbeitsabläufe beeinträchtigen kann, gerade am Monatsanfang. Herzlichen Dank an alle, die uns über die Probleme informiert und bei der Eingrenzung der Ursache unterstützt haben!

Julia in Maschinenraum

In der heutigen Nacht vom 8. auf den 9.11. sowie in der morgigen vom 9. auf den 10.11. stehen jeweils zwischen 0 und 8 Uhr MEZ Wartungsarbeiten in unserem Hauptrechenzentrum an. Innerhalb dieser Zeiträume wird mite für jeweils einige Minuten nicht zur Verfügung stehen. Die kleinen Verschnaufpausen sind notwendig um Sicherheitsupdates einzuspielen, die wiederum einen Serverneustart erfordern. Wir bitten um euer Verständnis.

~~
Update: Die Wartungsarbeiten wurden erfolgreich abgeschlossen, alle Server sind nun gepatcht. mite war am 9.11. für 18 Minuten nicht erreichbar und am 10.11. für insgesamt 53. Die Downtimes waren also länger als erwartet, und das tut uns leid. Ursache war eine Hakelei beim Hochfahren einer Hardwarenode in der zweiten Wartungsnacht. Hoffentlich wurde eure Arbeit aufgrund der späten Stunde nicht über Maß beeinträchtigt.

Julia in Maschinenraum

Ihr seid toll. Das erleben wir Tag für Tag, seid inzwischen fast zehn Jahren. Ob ihr euch mit einer Frage an uns wendet oder mit einem Tipp, wie wir mite verbessern könnten: Wir erleben viel Köpfchen und Erfahrung, viel Freundlichkeit und Verständnis. Und vor allem Hilfsbereitschaft. Dafür möchten wir uns heute einmal ganz grundsätzlich bedanken.

Ganz besonders geht unser Dank heute allerdings an Marcel Eichner. Er hat uns vergangenen Donnerstag auf eine Sicherheitslücke aufmerksam gemacht. Dank seiner exakten Beschreibung konnten wir diese sofort nachvollziehen und drei Stunden später schließen. Merci für deine Unterstützung, Marcel!

Erstens haben wir keine Indizien, dass die Lücke ausgenutzt wurde. Zweitens hätten keine personenbezogenen Daten ausgelesen oder gar modifiziert werden können. Trotzdem möchten wir euch natürlich detailliert informieren.

Der Fehler hatte sich in unsere offene Datenschnittstelle, die mite.api, eingeschlichen. Jedes Projekt in mite hat eine eindeutige Identifikationsnummer (ID) und ist optional einem Kunden zugeordnet. Über unsere API kann man Zeiteinträge für ein Projekt erstellen. Das Projekt wählt man über dessen ID aus. mite überprüft dann, ob ein Projekt mit dieser ID existiert und ob es zum eigenen Account gehört. Schlägt diese Prüfung fehl, wird die Projekt-ID in der Serverantwort auf „null“ zurückgesetzt.

Aus Performance-Gründen gibt mite bei Erstellung eines Zeiteintrags nicht nur die Projekt-ID zurück, sondern, falls vorhanden, auch die ID, den Namen sowie ggf. den Stundensatz des dem Projekt zugehörigen Kunden. Hier versteckte sich der Fehler, und zwar in der Reihenfolge der Prüfung. Gehörte die ID zu dem Projekt eines fremden Accounts, wurde die Projekt-ID zwar wie beschrieben zuerst zurückgesetzt, jedoch wurden dennoch die genannten Daten des zugehörigen Kunden soweit vorhanden zurückgegeben.

Die Serverantwort enthielt jedoch nicht die Information, zu welchem Account dieser Kunde gehört. Man hätte ergo aufgrund dieser Lücke zwar erfahren können, dass irgendein Unternehmen, das mite einsetzt, für einen Kunden XYZ arbeitet, nicht jedoch, welches Unternehmen. Und dass irgendein nicht definiertes Team auf der Welt für einen Kunden XYZ arbeitet, ist glücklicherweise keine hochsensible Information.

Die Lücke war also keine superkritische, und nun ist sie dicht. Doch sie hatte sich eingeschlichen, so ernst wir das Thema nehmen. Daher sind wir Marcel auch so dankbar für seinen Hinweis. Und möchten das zum Anlass nehmen, euch alle darum zu bitten, euch sofort direkt bei uns zu melden, falls ihr in Zukunft auf eine Schwachstelle aufmerksam werden solltet.

E-Mail ist der geschickteste Kanal in solch Fällen. Alle Kommunikationskanäle sowie unseren PGP-Key zur verschlüsselten Kommunikation findet ihr hier. Bitte beschreibt uns möglichst genau, wie ihr vorgeht, wie mite sich verhält und wie mite sich eurer Meinung nach verhalten sollte. Schickt gerne Code-Beispiele mit, Screenshots, Infos zur von euch eingesetzten Technik – alles, was wichtig sein könnte, um das Problem nachzuvollziehen und möglichst rasch zu beheben. Bitte unterstützt uns dabei, mite fehlerfrei zu halten. Für euch alle.

Julia in Maschinenraum

In unserem Hauptrechenzentrum stehen in der Nacht vom kommenden Montag auf Dienstag, den 31.5., von 0:00 bis 6:00 Uhr mitteleuropäischer Sommerzeit Wartungsarbeiten an. Unser Hoster wird Updates an den Core-Routern durchführen. Es kann innerhalb dieses Zeitraums zu Unterbrechungen der Internetverbindung von bis zu zwei Stunden kommen. mite wird dann leider nicht erreichbar sein.

Wir wünschen unserem Hoster SysEleven einen geschmeidigen Lauf dieser notwendigen Bauarbeiten. Und bitten um euer Verständnis. Hoffentlich müsst ihr keine Nachtschichten schieben und könnt folglich kurz auf euer mite verzichten.

~~
Update: Die Wartungsarbeiten wurden um 4:18 Uhr erfolgreich abgeschlossen, und das ohne eine einzige Minute Downtime für mite.

Julia in Maschinenraum

Seit dem gestrigen Abend läuft mite auf neuer Version des zugrundeliegenden Frameworks. Darüberhinaus haben wir einige kleine Feinschliffe veröffentlicht, die u.a. die Geschwindigkeit für Accounts mit einer sehr hohen Anzahl an Kunden und Projekten verbessern.

Solch Updates spielen wir immer wieder ein, das gehört zu unserem Alltag als mite.pfleger. Wir weisen heute gesondert darauf hin, da sich zeitweise ein Fehler eingeschlichen hatte, auf den uns dankenswerterweise sofort mehrere Nutzer aufmerksam machten.

Den Fehler selbst als auch seine temporären Auswirkungen haben wir inzwischen vollständig behoben. Wir möchten das jedoch nicht unter den Tisch kehren, sondern euch detailliert informieren, was genau los war und wie wir damit umgegangen sind. Darauf sollt ihr immer zählen können.

Also los: Markierte man ab gestern, 19:42 CEST einen Zeiteintrag als abgeschlossen, bearbeitete ihn über die Stapelverarbeitung oder startete oder stoppte man die Stoppuhr auf ihm, wurde ein etwaiger vorhandener Umsatz auf dem Zeiteintrag auf Null zurückgesetzt, es griff also nicht mehr der korrekte Stundensatz. Diesen Fehler haben wir mit einem weiteren Update in der heutigen Nacht um 1:58 CEST behoben. Den Umsatz von Zeiteinträgen, die ab gestern 19:42 CEST bearbeitet wurden und vom Fehler betroffen waren, haben wir selbstverständlich auch wieder geradegestellt; Diese Arbeiten schlossen wir heute Nacht um 4:08 CEST ab. Der Fehler tritt also nicht mehr auf und alle Daten sind wieder korrekt. Falls du zwischen gestern Abend 19:42 und heute Nacht 4:08 CEST Zeiteinträge bearbeitet und diese just bearbeiteten Zeiten gleich exportiert hast, empfehlen wir allerdings, ihren Stundensatz und Umsatz der Sicherheit zuliebe noch einmal zu überprüfen.

Ursache des Fehlers war eine leider undokumentierte Änderung im mite zugrundeliegende Framework. Vor der Veröffentlichung eines jeden Updates testen wir natürlich immer ausführlich, sowohl über Software-Tests als auch über manuelle Tests. Der Fehler ist uns jedoch leider durch diese Sicherheitsnetze hindurchgerutscht. Das ist auch der Punkt, an dem wir nun ansetzen, um solch ein Problem für die Zukunft sicherer auszuschließen. Wir sind bereits dabei, unsere Testprozeduren zu verfeinern.

Unsere Entschuldigung von Herzen für diesen Vorfall. Wir nehmen das definitiv nicht auf die leichte Schulter.

Bitte meldet euch – wie stets – mit möglichst vielen Details bei uns, gern per Mail, falls euch noch eine weitere Ungereimtheit auffallen sollte. Von unserem Ziel, mite fehlerfrei zu halten, werden wir ganz bestimmt kein Stückchen abweichen!

Julia in Maschinenraum