Lemmings (8)

El martes me veo abrumado por no tener datos reales para probar. Los datos sintéticos que uso son de ayuda, pero el cliente quiere ver datos reales trabajando (los cuales él no va a proporcionar). Me apoyo con el dichoso Copilot y creamos (podría decir «hice» pero creo que es justo darle su crédito a esta herramienta que, por cierto, tiene por detrás a los modelos de OpenAI) un conjunto de datos más realista para mis modelos. En el standup del martes damos nuestro estado de avance.

Ahí se toma la decisión de crear 1000 archivos compatibles con el standard USDM (que no son enteramente lo que el cliente genera, cuyo esquema es un subconjunto más ligero de este estándar). WTF?!! ¡¿Acaso el cliente no nos dijo que debíamos usar sus archivos!? Pero yo ya tengo mis propios problemas como para tratar de convencer al resto del senior staff.

El punto es que no tenemos los datos (ni los tendremos en el corto plazo) para demostrar el funcionamiento de lo que hemos desarrollado para los modelos (bueno, les llamamos «modelos»… por «inercia lemmingesca», pero no son más que «recomendadores determinísticos», basados en reglas; el contrato hablaba de «modelos de machine learning» pero sin datos no es posible hacer «machine learning«). El «extractor con BERT» todavía está «a años luz» y nos están pidiendo un demo con datos reales que ni el propio cliente puede proporcionar. Decidí nuevamente echar mano de opilot y creamos un parser rudimentario y muy horrendo para archivos JSON con el esquema que maneja el cliente. Le paso la referencia del lugar donde están dejando los datos de salida a la persona a cargo del modelo 1, por si le son de ayuda (pero que no pregunte por su origen; el programa es tan horrendo que me da pena mostrarlo; esta persona también está trabajando con los BERT, por lo que ignora el mensaje durante algunos días, pero finalmente lo usa y dice que sí le han servido).

Obsesionado por lo que creía que eran errores del modelo, no me di cuenta de que el problema eran los datos en sí; ya muy, muy tarde empecé a apreciar la complejidad de los datos que debía buscar y extraer. Tuve que crear nuevamente más datos sintéticos, más apegados a la realidad pero sintéticos aún. Termino en la madrugada, al menos feliz viendo que el modelo 2 funciona, algo contrariado también porque considero que el parser hecho no sirve ni para el modelo 2 ni para el 3.

El miércoles lo dedico enteramente al modelo 3 (el mismo caso que con el 2). La generación de los archivos continúa, BERT está parado pues necesita los archivos para entrenamiento (estos gringos… en México, si no están las cosas uno no se va hasta que se tengan; estos sujetos dejan todo cuando llega su hora de salida).

Jueves, ya hay algo avanzado con BERT. En una reunión por la tarde se planea lo que mostraremos al día siguiente (enfocados en la extracción de datos y en dar un estado del avance de los modelos). Todo se enfoca en BERT (que aún no está entrenado, el avance es sólo en su implementación pero se espera esté listo para el día siguiente… «se espera»). En la reunión, pregunto qué pasaría si el cliente dice que no a BERT; nuestro líder de proyecto titubea. Me preocupa más lo que una vocecita en mi interior me avisa: así que le propongo tener como plan B el «extractor» con el que obtuve esos primeros datos, sólo útiles para el modelo 1 (pero que ayudará a desviar la atención por un momento). Le indico que se trata de un parser basado en expresiones regulares y en el manejo de cadenas. Esto le da una alternativa y «me da el avión».

Llega el viernes y la debacle.

Siguiente

Deja una respuesta

Este sitio utiliza Akismet para reducir el spam. Conoce cómo se procesan los datos de tus comentarios.