Una nueva arquitectura de transformer simula la imaginación y estados mentales humanos de nivel superior.

Un equipo de investigación ha desarrollado una nueva arquitectura de transformador llamada Co4, diseñada para emular la imaginación y los estados mentales superiores característicos del ser humano. Inspirada en la neurociencia, Co4 incorpora bucles de modulación triádica entre queries, keys y values, imitando las interacciones entre los estímulos sensoriales externos y la información contextual interna en el cerebro. Esta configuración permite al modelo realizar razonamientos paralelos desde múltiples perspectivas, de forma similar a la modulación córtico-talámica del cerebro, facilitando así el procesamiento perceptivo de alto nivel y el pensamiento imaginativo.

A diferencia de los modelos transformadores tradicionales que operan mediante un procesamiento secuencial a nivel de tokens, Co4 funciona a nivel de representaciones, lo que permite un razonamiento más eficiente y flexible. Al integrar mecanismos análogos a los que se encuentran en las neuronas piramidales de la capa 5 del cerebro, la arquitectura admite transiciones entre distintos estados mentales, como la vigilia y el sueño, mejorando su capacidad para modelar funciones cognitivas complejas. Este avance representa un paso significativo hacia sistemas de inteligencia artificial que replican de forma más cercana los procesos cognitivos humanos.