Cuatro estudiantes paraguayos crean desde cero un modelo de lenguaje propio

Juan Manuel Acosta Ramírez, Elías Paniagua Velilla, Mauricio Irrazábal Ruiz Díaz y José Rafael Estigarribia, cuatro adolescentes paraguayos de entre 16 y 17 años, desarrollaron en Asunción un modelo de lenguaje al que llamaron YvyrAI. Los estudiantes del Colegio Santa Clara no se limitaron a adaptar tecnologías existentes: diseñaron desde cero la arquitectura del modelo, que fue entrenado en una computadora con una tarjeta gráfica convencional. El proyecto se llevó adelante sin el respaldo de un gran laboratorio de investigación ni de una empresa tecnológica.

Dentro del equipo, Juan Manuel está encargado de la parte técnica, Elías de la visión y la estrategia, Mauricio es responsable de marca y coautor del trabajo académico, y José del área de seguridad. Los propios creadores aclaran que no sostienen que YvyrAI sea más capaz que los grandes modelos regionales o internacionales. Lo que reivindican es haber construido una arquitectura propia.

Esa arquitectura se denomina DeliberationBlock y constituye el núcleo de YvyrAI. La idea es que el modelo dedique mayor capacidad de procesamiento a los problemas complejos sin necesidad de aumentar su tamaño, de modo que pueda revisar y profundizar su propio razonamiento antes de entregar una respuesta. Junto con ese diseño, los estudiantes construyeron el tokenizador, el sistema de preparación de datos y el código de entrenamiento. El modelo cuenta actualmente con 105 millones de parámetros y fue entrenado en una tarjeta gráfica de las que habitualmente se usan para videojuegos.

Según sus creadores, YvyrAI sería el primer modelo de lenguaje desarrollado en Paraguay sobre una arquitectura propia y uno de los primeros de Latinoamérica e Hispanoamérica con esas características, hasta donde pudieron verificar. Para sostenerlo, el equipo revisó unos 25.700 modelos publicados en Hugging Face y no encontró modelos latinoamericanos o hispanoamericanos que combinaran entrenamiento desde cero con una arquitectura propia no derivada de sistemas como Llama, Mistral, Gemma o Qwen. Los desarrolladores advierten, no obstante, que demostrar que algo no existe es particularmente difícil: un modelo privado, no publicado o mal identificado podría no aparecer en la búsqueda, por lo que prefieren hablar de una conclusión acotada.

YvyrAI todavía no se presenta como un asistente capaz de competir con las herramientas de uso masivo. Su versión actual es un modelo base, pensado para seguir desarrollándose: puede generar textos en español, pero inventa información, tiene dificultades con textos extensos y su conocimiento sobre Paraguay es limitado. Parte de esas limitaciones se explican, según los jóvenes, porque el modelo recibió menos de la mitad del texto que necesitaría para entrenarse adecuadamente para su tamaño.

El siguiente paso será clave para comprobar si la arquitectura diseñada aporta una ventaja real. El equipo planea entrenar un modelo convencional del mismo tamaño con exactamente los mismos textos y comparar ambos resultados. La meta de largo plazo es más ambiciosa: un modelo de 1.000 millones de parámetros, cuyo código y diseño ya están preparados pero que aún no fue entrenado. El principal obstáculo es el acceso al cómputo, ya que necesitarían varias semanas de una tarjeta de última generación funcionando de manera continua o contratar capacidad equivalente en la nube. Calculan que, contando la preparación de datos y las pruebas, podrían requerir alrededor de dos meses de trabajo computacional, y actualmente buscan un inversor.

El proyecto también abre una discusión más amplia. Para sus creadores, Paraguay corre el riesgo de convertirse únicamente en consumidor de inteligencia artificial mientras otros países desarrollan la propiedad intelectual detrás de esas tecnologías. "Existe el riesgo de terminar vendiendo electricidad barata y comprando de vuelta la inteligencia que se hizo con ella", advierten. Sostienen que la ecuación tiene varias capas —energía, infraestructura informática, arquitectura de modelos y aplicaciones— y que el país tiene condiciones favorables en las primeras, pero mucho camino por recorrer en las de mayor valor agregado. Por eso plantean tres desafíos: incorporar talento paraguayo a la infraestructura tecnológica que se está instalando, invertir en formación y crear condiciones para que quienes se capaciten encuentren oportunidades laborales en el país. Detrás de su experiencia hay una conclusión más simple: Paraguay no necesita esperar a que llegue el futuro para comenzar a desarrollar inteligencia artificial.