Une équipe qui se fait réveiller trois fois par semaine ne va pas tenir. Ce n’est pas un problème de tooling ni de courage, c’est un problème d’usure, et il finit toujours par se régler par un départ.
Dans la quasi-totalité des cas que j’ai vus, les alertes nocturnes ne viennent pas d’incidents différents. Elles viennent du même petit nombre de causes structurelles, qui se manifestent sous des symptômes variés.
Voici celles que je retrouve, dans l’ordre où je les cherche.
Les requests posées au hasard
C’est la cause numéro un, et de très loin.
Les requests et limits Kubernetes sont posées une fois, souvent copiées d’un autre service, et jamais revues. Le résultat est double et symétrique.
Trop basses, et le pod se fait tuer en mémoire, ou son CPU est étranglé au pire moment. Le service ralentit, la sonde de vivacité échoue, le pod redémarre, la charge se reporte sur les autres, et l’incident se propage.
Trop hautes, et le scheduler ne trouve plus où placer les pods. Le cluster paraît plein alors que les machines sont à trente pour cent d’utilisation réelle. Un node tombe, ses pods ne se replacent nulle part, et l’alerte part à trois heures du matin.
Le second cas est plus vicieux, parce que tout va bien jusqu’au jour où quelque chose bouge.
Les sondes mal réglées
Deuxième cause, et la plus facile à corriger.
Une liveness probe qui teste la même chose que la readiness probe, avec un délai initial trop court, produit un comportement destructeur : l’application démarre lentement sous charge, la sonde conclut qu’elle est morte, Kubernetes la tue, elle redémarre encore plus lentement parce que le reste du système est plus chargé, et la boucle s’installe.
Les deux sondes ne servent pas au même usage. La readiness dit « ne m’envoyez pas de trafic maintenant ». La liveness dit « tuez-moi, je suis irrécupérable ». Confondre les deux transforme un ralentissement passager en panne complète.
Une startup probe généreuse règle la plupart de ces cas, en laissant l’application démarrer sans que la liveness ne s’en mêle. C’est particulièrement vrai sur les applications JVM, dont le temps de démarrage est très variable selon la charge de la machine.
Aucun PodDisruptionBudget
Troisième cause, celle qui provoque les incidents pendant les opérations de maintenance.
Sans PodDisruptionBudget, rien n’empêche que toutes les répliques d’un service soient évacuées en même temps quand un node est drainé. Une mise à jour de cluster, un remplacement de machine, un rééquilibrage automatique, et le service disparaît complètement pendant quelques secondes ou quelques minutes.
Ces incidents ont une signature reconnaissable : ils arrivent pendant les fenêtres de maintenance, et personne ne comprend pourquoi puisque « le service a trois répliques ».
Trois répliques sur le même node, ce n’est pas de la redondance. C’est trois fois le même point de défaillance, ce qui amène au point suivant.
Pas de contrainte de répartition
Par défaut, le scheduler peut placer toutes les répliques d’un déploiement sur la même machine. Rien ne l’en empêche, et rien ne vous prévient.
L’anti-affinité et les topology spread constraints existent pour ça. Sans elles, la redondance est théorique : elle protège d’un crash applicatif, pas de la perte d’un node.
C’est le genre de configuration qui ne se voit jamais en fonctionnement normal, et qui explique intégralement un incident le jour où une machine tombe.
Une base de données traitée comme le reste
Quatrième cause, plus lourde à corriger.
Une base dans un cluster demande un traitement différent d’une application sans état. Le stockage persistant, le comportement en cas de perte de node, la restauration à un point dans le temps, la vérification que les sauvegardes se restaurent réellement.
Les alertes nocturnes liées aux données sont les plus coûteuses, parce qu’elles ne se règlent pas en redémarrant. Elles demandent quelqu’un de compétent, réveillé, et sous pression.
Si vos réveils viennent de là, la priorité n’est pas d’améliorer les alertes. C’est de tester une restauration complète, en conditions réelles, avant que ce ne soit obligatoire.
Des alertes qui ne veulent rien dire
Cinquième cause, et elle est culturelle plutôt que technique.
Une équipe réveillée par des alertes sans action possible arrête de les lire. C’est humain et c’est rationnel. Le problème, c’est que la vraie alerte se noie dans les autres.
Une alerte qui réveille quelqu’un doit satisfaire deux conditions : quelque chose est cassé pour les utilisateurs, et il existe une action à faire maintenant. Tout le reste peut attendre le matin.
Passer en revue les alertes de la nuit et supprimer celles sur lesquelles personne n’a jamais rien fait est souvent le geste qui améliore le plus la vie de l’équipe, et il ne coûte rien.
Par où commencer
Si vous êtes dans cette situation, il y a un ordre qui donne des résultats vite.
Reprenez les réveils des trois derniers mois et classez-les par cause réelle, pas par service touché. Dans la plupart des cas, deux ou trois causes expliquent l’essentiel du volume.
Puis traitez d’abord celle qui revient le plus, même si ce n’est pas la plus grave. Un cluster qui réveille une fois par mois au lieu de trois fois par semaine change complètement le rapport de l’équipe à l’astreinte, et redonne le calme nécessaire pour traiter le reste.
Le détail des configurations à mettre en place est dans les bonnes pratiques de résilience, et la question des requests est traitée dans deux règles pour les ressources.
Votre équipe s’use sur l’astreinte ? Racontez-moi ce qui vous réveille. Souvent, deux ou trois corrections suffisent à retrouver des nuits normales.
Points clés à retenir
- ✓ Les requests jamais revues sont la première cause, dans les deux sens : trop basses ou trop hautes
- ✓ Confondre liveness et readiness transforme un ralentissement passager en panne complète
- ✓ Trois répliques sur le même node ne sont pas de la redondance
- ✓ Classer les réveils par cause réelle : deux ou trois causes expliquent en général tout le volume