Durante este día Lunes 20 de Octubre entre las 07:11 AM (UTC) y aproximadamente las 10:30 AM (UTC) observamos un incremento significativo en las tasas de error y latencias en la plataforma que afectó a algunos de nuestros clientes que se encontraban desplegados en la región us-east-1 de Amazon AWS debido a una falla regional en sus servicios que afectó a algunos de sus servicios dependientes de DynamoDB. La causa raíz informada por AWS para esta interrupción inicial fue un problema subyacente de resolución DNS. AWS implementó mitigaciones rápidamente, logrando que para las 10:30 AM (UTC), el problema de DNS estuviera completamente resuelto y la mayoría de las operaciones de los servicios principales hubieran vuelto a la normalidad. En el caso de los clientes de Modyo afectados por el incidente, la recuperación se notó desde aproximadamente las 08:35 AM (UTC).
A pesar de la mitigación del DNS, los problemas de estabilidad continuaron, sin afectar esta vez a la plataforma Modyo, ya que se trató de fallas en el lanzamiento de nuevas instancias de EC2 y demoras en el polling de Lambda para SQS. Posteriormente, a partir de las 2:14 PM (UTC), se confirmó una escalada de problemas de conectividad de red y errores significativos a través de múltiples servicios, incluyendo nuevamente DynamoDB, SQS y Amazon Connect. La última actualización oficial de AWS (a las 3:04 PM UTC) identificó que la causa raíz de esta segunda y más extendida interrupción proviene de un problema dentro de la red interna de EC2. AWS continúa trabajando activamente en la investigación y mitigación de esta causa más profunda.
Es importante destacar que, a pesar de la gravedad de estas interrupciones en la región us-east-1, La Plataforma Modyo no registró un impacto operativo directo ni crítico en la segunda parte del incidente. Esto se debe a que los servicios afectados en la segunda fase del incidente (DynamoDB, SQS, etc) no forman parte de nuestra infraestructura crítica o no son utilizados en la ruta principal de nuestras aplicaciones. En el caso de los servicios manejados de infraestructura de Modyo Connect, el impacto podría variar de cliente a cliente debido a los servicios que se utilicen que podrían verse afectados.
Seguiremos monitoreando el incidente en caso de que sea requerida alguna acción de nuestra parte.
Saludos coordinadas,
José Antonio Silva
CTO, Modyo