Fin de semana

Esperamos el fin de semana con ansia para escapar de las complejidades del trabajo, escuela y otras labores desagradables pero necesarias para salir adelante en la vida. Resulta frustrante cuando  el fin de semana nos trae más preocupaciones que alivio.

Todo empezó desde el viernes  con un proceso que consumió más de 36 horas de procesamiento para terminar abortando por un error interno de AWS Athena, una falla del producto. El proceso en cuestión consumía un archivo de 19GB (conteniendo unos 280 millones de registros) para particionarlo en unos 230,000+ folders de tres niveles (año, fecha completa y un identificador). El proceso debería tomar poco tiempo (pues tareas similares nos daban la experiencia de 30 o 60 minutos), pero este es un claro ejemplo de como los sistemas orientados al Big Data presentan problemas de desempeño cuando deben lidiar con enormes cantidades de archivos pequeños en lugar de pocos archivos conteniendo grandes volúmenes de datos. De hecho, una experiencia similar la tuve durante el doctorado, cuando debí procesar algunos miles de tweets diariamente. La primera opción fue crear un archivo por tweet, lo que al final del día, tras su recolección, hacía que el proceso tomara de 4 a 6 horas. Cuando cambié a tener un registro por tweet en un gran archivo, el tiempo de procesamiento disminuyó a 30 minutos.

 

El sábado por la noche, regresando de cenar con la familia, le pegué a uno de esos divisores que delimitan el carril confinado del metrobús, se poncharon las dos llantas laterales del lado del conductor. Eran las 11 de la noche. En lo que esperamos a que el ajustador del seguro llegara para que pudiéramos pedir el servicio de la asistencia vial (grúa), porque la aseguradora se puso rejega y nos indicó que primero el ajustador debía pasar, terminamos regresando a casa a las 01:30 horas (momento cuando constaté el problema del párrafo anterior).

Finalmente el domingo, entre lo que veía la reparación de las llantas, hice algo de mantenimiento y adiciones al sitio web del curso de Seguridad Informática que este semestre me ha tocado impartir. Por alguna razón, alrededor del medio día, dejé de tener acceso a éste y una pantalla de WordPress.com indicaba que había incurrido en una violación de los términos de servicio y que ya no tenía acceso a éste. El mensaje indicaba que podía exportar el contenido pero la ruta indicada en el menú me llevaba a un 404. Accedí a la opción que la pantalla indicaba para revisar el caso y dejé unos tres mensaje. En la noche noté que tenía nuevamente acceso a los recursos del sitio y sus páginas, excepto la de portada del sitio que disparaba el aviso de suspensión. No recibí explicación de WordPress.com.

 

Deja una respuesta

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Salir /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Salir /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Salir /  Cambiar )

Conectando a %s

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.