La caída de Workday empezó con una prueba de respaldo y dejó a plantillas sin fichar

Workday, el software que muchas grandes empresas utilizan para gestionar las nóminas, los fichajes y los días libres, dejó de funcionar para sus clientes tras un fallo en una prueba de su propio sistema de respaldo de emergencia. Mientras revisaba sus sistemas de recuperación ante desastres, la compañía descubrió que los servicios de respaldo se habían conectado inesperadamente a las bases de datos en producción con las que trabajan sus clientes, lo que dejó los registros en un estado incoherente. Workday desconectó los sistemas afectados para repararlos.

Para los empleados, la caída se tradujo en una página de inicio de sesión con el mensaje «Workday no está disponible en este momento». El personal de las empresas afectadas no pudo fichar al entrar o salir, consultar información sobre su salario, pedir días libres ni completar la inscripción en sus prestaciones; además, podían fallar los trabajos programados que alimentan otros sistemas de las compañías. La red de seguridad creada para mantener el servicio en funcionamiento durante una catástrofe fue precisamente lo que lo dejó fuera de servicio.

La magnitud del servicio explica por qué el problema va más allá de los departamentos de recursos humanos. Workday afirma que más de 11.500 organizaciones utilizan su software, y entre sus clientes públicos figuran Walmart, Target, Netflix, Chipotle, Southwest Airlines, el Departamento de Energía de Estados Unidos y el Laboratorio de Propulsión a Chorro de la NASA. La compañía no ha dicho cuántas se vieron afectadas y solo ha descrito el impacto como «algunos de nuestros clientes», así que las publicaciones virales que dan por caídas a todas esas empresas van más allá de los hechos. Según UC Today, los servicios de seguimiento de caídas registraron avisos de problemas en Estados Unidos y la India.

La explicación de Workday, publicada en su página de estado para clientes y citada por el equipo de TI de Washington University, es inusualmente directa. «Al validar la ventana de mantenimiento semanal de los entornos de recuperación ante desastres, hemos detectado que los servicios de los clientes alojados en el sitio de recuperación ante desastres se han conectado inesperadamente a las bases de datos de producción», decía el aviso. Añadía que los datos habían quedado «en un estado incoherente», lo que podía provocar errores al abrir las cuentas o impedir que se completaran algunas tareas. A continuación, la compañía puso en mantenimiento todos los entornos de producción del grupo de clientes al que denomina WD1 y prometió ofrecer novedades cada 30 minutos.

La explicación deja sin resolver la pregunta más importante. Existe una copia de recuperación ante desastres para evitar que un problema en un lugar se propague al otro, pero en este caso la prueba llegó hasta el sistema real. Workday no ha explicado cómo era posible esa conexión ni si se perdió algún registro, en lugar de quedar simplemente desajustado. Sus comunicaciones también suscitaron quejas. Administradores de los foros de sysadmin y Workday de Reddit afirmaron que el problema había empezado varias horas antes del primer aviso a los clientes, un calendario que Workday no ha confirmado. Además, un correo electrónico enviado a un cliente y compartido allí reconocía que no había una estimación del plazo de recuperación y recomendaba a las empresas con fechas límite críticas recurrir a sus planes de continuidad del negocio.

En el caso de los trabajadores, las consecuencias prácticas dependen del momento en que se produjera la caída. Los empleados por horas que no pudieron fichar tendrán que corregir sus horas manualmente, y quienes estuvieran apurando el plazo para inscribirse en sus prestaciones se encontraron con la puerta cerrada. Algunas empresas ampliaron los plazos: Emerson College anunció que extendía el periodo de inscripción abierta debido a la caída. El incidente llegó, además, al final de una mala semana para el software de oficina, después de que un fallo de Microsoft 365 dejara Outlook y el correo de Exchange dando problemas hasta el segundo día.

La cronología hasta ahora: Emerson College dijo que Workday dejó el sistema fuera de servicio hacia las 17:15, hora del Este, del viernes 13 de noviembre, y LiveNOW from FOX informó de que Downdetector había registrado cerca de 3.000 avisos de problemas poco después de las 17:00. Un portavoz de Workday afirmó que la compañía estaba «trabajando con urgencia para investigar y resolver el problema» y pidió disculpas a los clientes afectados. El sábado por la mañana, Workday comunicó a sus clientes que esperaba terminar de reindexar y reactivar los entornos de la mayoría de ellos antes de las 11:00, hora del Este, del sábado 14 de noviembre; en algunos casos, el proceso tardaría más. La compañía se pondría en contacto con esos clientes a través de un caso de soporte. El periodo de inscripción ampliado de Emerson termina ahora al mediodía, hora del Este, del lunes 16 de noviembre.

Que el servicio vuelva a funcionar no resolverá la pregunta más difícil que ahora plantean las empresas a su proveedor. Querrán saber por qué una prueba concebida para demostrar que Workday puede resistir una catástrofe tenía acceso a los datos que debía proteger.

Etiquetas: caídas informáticas, nóminas, recuperación ante desastres, servicios en la nube, software de recursos humanos, Workday