الراعي الكذاب والذئب

إنها القصة نفسها. نظام المراقبة الذي يطلق الإنذارات بشأن كل شيء يعلّم المناوبين أن الإنذارات لا تعني شيئًا، فإذا وقع عطل حقيقي تم تجاهله كما تم تجاهل الإنذارات الكاذبة قبله. يسمى هذا في تقنية المعلومات إرهاق التنبيهات، وكما في الحكاية، فإن الخطأ في الإنذارات لا في الأشخاص الذين توقفوا عن الاستجابة لها.

قناة تنبيهات أو مجلد بريد لا يقرؤه أحد، وتنبيهات يتم الإقرار بها بشكل روتيني دون النظر فيها، والتنبيه نفسه يُطلق كل ليلة، وأعطال يبلّغ عنها العملاء قبل أن تكتشفها المراقبة، ومهندس واحد خبير يعرف وحده أي التنبيهات حقيقي. أي واحدة من هذه تعني أن مجموعة التنبيهات بحاجة إلى إعادة بناء.

ليس إذا تم ذلك بالشكل الصحيح. التنبيهات المتبقية مبنية حول ما سيلاحظه العملاء، لذا فهي تكشف المشكلات الحقيقية بموثوقية أكبر من سيل تحذيرات المعالج والقرص. كما نتتبع الحوادث التي وقعت دون أي تنبيه، وهذا يكشف فورًا إن كان قد حُذف أكثر مما ينبغي.

عادةً بضعة أسابيع لإعادة البناء نفسها، باستخدام الأدوات التي لديكم بالفعل مثل Icinga2 أو Prometheus أو Grafana. أما المراجعة الأسبوعية التي تحافظ على هدوئه بعد ذلك فتستغرق نحو خمس عشرة دقيقة.

الممارسات التي نشرتها Google لفرق هندسة موثوقية المواقع (SRE) لديها: يجب أن يكون كل استدعاء قابلًا للتنفيذ، وتُطلق التنبيهات على الأعراض التي يلاحظها المستخدمون لا على الأسباب الداخلية، ويُحدَّد الاستدعاء بسرعة استهلاك الخدمة لميزانية الأخطاء، ولا ينبغي أن يواجه مهندس المناوبة أكثر من حادثتين في نوبة مدتها اثنتا عشرة ساعة. تُجمَّع التنبيهات وتُكتم وتُوجَّه في أدوات مثل Prometheus Alertmanager، وتُصعَّد حتى يقر بها أحد.

نعم. تراقب NGN على مدار الساعة، مع توجيه التنبيهات حسب الخطورة إلى مهندسينا وإلى مسار التصعيد الذي تختارونه خارج ساعات العمل، بحيث يصل الإنذار الحقيقي في الثالثة فجرًا إلى شخص يتصرف بشأنه.