Hall of Fame · Infrastructure · 2017
Panne d'Amazon S3 en 2017 : un paramètre mal saisi dans une commande
Le 28 février 2017, une commande de maintenance saisie avec un paramètre incorrect a retiré plus de serveurs que prévu dans la région US-EAST-1 d'Amazon S3, selon le compte rendu publié par AWS. De nombreux sites et services ont été perturbés pendant plusieurs heures. Amazon n'a pas publié de coût.
Faits en cours de vérification. Ce cas n'a pas encore été recoupé avec des sources primaires. Les dates, montants et circonstances ci-dessous peuvent contenir des inexactitudes.
Points à confirmer avant publication :
- Durée exacte de l'indisponibilité
- Relecture du résumé au regard du compte rendu AWS
- Année
- 2017
- Domaine
- Cloud (AWS)
- Type d'erreur
- Paramètre de commande mal saisi
- Coût estimé
- Non établi
Chronologie
- 28 février 2017 — Une équipe S3 enquête sur une lenteur du système de facturation et exécute une commande prévue par une procédure établie.
- Même jour — Un des paramètres est mal saisi : la commande retire un ensemble de serveurs plus large que prévu, dont ceux de deux sous-systèmes essentiels de S3.
- Heures suivantes — Les sous-systèmes doivent être entièrement redémarrés ; S3 et les services qui en dépendent sont indisponibles ou dégradés dans la région.
- Début mars 2017 — AWS publie un compte rendu et annonce des garde-fous : retrait de capacité plus lent et limites minimales.
Montant en jeu
Aucun montant n'est retenu pour ce cas, faute de source suffisante.
Amazon n'a pas communiqué de coût. Des estimations de tiers ont circulé dans la presse ; nous ne les reprenons pas faute de pouvoir en vérifier la méthode.
Cause exacte
Une faute de frappe dans l'argument d'une commande d'administration, que l'outil a acceptée sans vérifier que la capacité restante restait au-dessus du minimum nécessaire.
Leçon
Les outils d'administration doivent refuser les ordres manifestement disproportionnés. AWS a indiqué avoir modifié son outil en ce sens après l'incident.
Les noms de domaine n'échappent pas aux erreurs de saisie. Tester les fautes de frappe de votre domaine
Sources
- AWS — Summary of the Amazon S3 Service Disruption in the Northern Virginia (US-EAST-1) Region source primaire
Une source manque ou un fait est inexact ? Signaler une erreur ou proposer une source