Olay yönetimi (incident management) ve postmortem’ler

Kısaca: Kesintilerin düzenli ele alınması: hızla algıla, gider, ilet ve sonra suçlamadan bundan öğren.

Biraz daha ayrıntılı: Bir olay (incident), bir hizmeti beklenmedik biçimde bozan bir etkinliktir; örneğin bir kesinti veya keskin biçimde artan hata oranları. Olay yönetimi, insanların baskı altında doğaçlama yapmasına gerek kalmasın diye rolleri, yöntemleri ve iletişimi düzenler. Postmortem (değerlendirme), ne olduğunu ve gelecekte nasıl önleneceğini kaydeder.

Ayrıntılı

Bir olay sırasındaki süreç

1. Algıla: izlemeden uyarı veya kullanıcılardan bir bildirim.
2. Sınıflandır: ne kadar ciddi (önem derecesi, etkilenen kullanıcılar)?
3. Koordine et: bir kişi yönetir (incident commander), diğerleri araştırır, biri iletişim kurar.
4. Hafiflet: önce etkiyi durdurun (geri alma, kapatma, yedeğe geçiş), nedeni ancak sonra arayın.
5. Bilgilendir: durum sayfası ve müşteri duyuruları, dürüst bir durum özetiyle.
6. Kapat: normal işletimi doğrulayın.

Postmortem

Bir özet, zamanlı bir zaman çizelgesi, etki (süre, etkilenen sayısı), nedenler (genellikle birkaç tane, yalnızca “bir hata” değil), neyin iyi ve kötü gittiği ve sahipleri ile tarihleri olan somut eylemler içerir. Art arda birkaç kez “neden?” diye sormak yardımcı olur (“beş neden”).

Suçlamadan

“Suçlamasız” (blameless) bir postmortem kimin hatalı olduğunu değil, sistemin bir insanın hata yapmasına neden izin verdiğini sorar. Suçlanmaktan korkan insanlar bir şeyleri gizler ve kuruluş daha az öğrenir. İnsan hataları genellikle incelemeler, testler veya yedek planlar gibi eksik güvencelerin işaretidir.

Metrikler

Yaygın olanlar MTTD (algılama süresi), MTTR (geri yükleme süresi) ve olay sayısıdır. Yarışma değil, ipucu vermelidirler. Küçük projeler bile her kesintiden sonra kısa bir nottan yararlanır.

Ayrıca bak: SLI, SLO ve hata bütçesi, SLA, destek seviyesi ve bilet sistemi, Kaos mühendisliği