Esta semana, Meta dio un paso audaz al presentar sus nuevos modelos de inteligencia artificial (IA), destacando la llegada de Llama-4, su esperado modelo de lenguaje de gran tamaño (LLM, por sus siglas en inglés). Este modelo se lanzó con el objetivo de competir con los mejores de su clase, sin necesidad de ajustes finos adicionales, y se promete como uno de los más avanzados en el mundo de la IA. A pesar de las altas expectativas, también han surgido dudas sobre sus capacidades en la práctica. Este artículo explora las características clave de Llama-4, sus innovaciones, sus puntos fuertes, y las críticas que ha generado tras sus primeras pruebas.
Llama-4: una arquitectura revolucionaria
El modelo Llama-4 de Meta llega al mercado con una serie de características que lo hacen destacar frente a otros modelos existentes. Según Meta, Llama-4 ha sido creado gracias a una técnica de destilación proveniente de un modelo aún más grande y poderoso: Llama 4 Behemoth. Este último cuenta con un impresionante número de 288 mil millones de parámetros activos y 16 expertos, lo que lo convierte en uno de los modelos de IA más poderosos jamás creados. Según la compañía, Llama 4 Behemoth supera a competidores de renombre como GPT-4.5, Claude Sonnet 3.7 y Gemini 2.0 Pro en una serie de benchmarks STEM, un hecho que subraya la capacidad del modelo para abordar tareas complejas en ciencias, matemáticas y otras disciplinas técnicas.
Aunque Llama-4 Scout y Maverick, dos variantes del modelo, cuentan con 17 mil millones de parámetros por inferencia, lo que los hace más manejables en comparación con el gigante Behemoth, la verdadera innovación radica en la arquitectura de “mezcla de expertos” (MoE, por sus siglas en inglés). En lugar de activar todos los parámetros para cada tarea, como se hace en los modelos tradicionales, esta arquitectura permite que solo se activen los expertos necesarios para realizar una tarea específica, lo que ahorra recursos computacionales. Esta estrategia permite que Llama-4 funcione de manera eficiente en hardware menos potente, como una sola tarjeta NVIDIA H100 DGX, lo que hace que este modelo sea accesible para más usuarios.
La multimodalidad de Llama-4: visión y texto integrados
Una de las características más avanzadas de Llama-4 es su multimodalidad nativa, que integra de manera temprana los tokens de texto y visión. Esto significa que Llama-4 no solo puede procesar texto, sino también imágenes y videos, lo que le permite abordar tareas complejas que involucran múltiples tipos de datos. Gracias a su capacidad para entrenarse de manera conjunta con grandes volúmenes de datos no etiquetados de texto, imágenes y videos, Llama-4 se convierte en un modelo más versátil y capaz de comprender mejor el contexto en tareas multidisciplinarias.
Otro aspecto impresionante es la ventana de contexto de 10 millones de tokens de Llama-4 Scout, una mejora significativa respecto a los 128 mil tokens de la generación anterior. Esta capacidad de manejar contextos mucho más largos le permite al modelo realizar tareas avanzadas como la resumen de múltiples documentos, el análisis extenso de código y la razonamiento sobre conjuntos de datos masivos en un solo prompt. En las primeras pruebas, Meta aseguró que sus modelos podían recuperar información de cualquier parte de esta ventana de contexto de 10 millones de tokens, lo que amplía enormemente las posibilidades de uso del modelo en escenarios complejos.
Behemoth: El futuro de Llama-4 aún en desarrollo
Además de los modelos Llama-4 Scout y Maverick, Meta también está entrenando Llama 4 Behemoth, una versión aún más poderosa del modelo que promete cambiar las reglas del juego en la inteligencia artificial. Behemoth se caracteriza por sus 288 mil millones de parámetros activos, con 16 expertos, y un total cercano a los dos billones de parámetros. Aunque todavía está en proceso de entrenamiento, Meta ya ha compartido que Behemoth supera a otros modelos de vanguardia en benchmarks importantes como MATH-500 y GPQA Diamond, lo que lo convierte en un modelo extremadamente prometedor.
A pesar de estas afirmaciones, algunos investigadores independientes han puesto en duda las pruebas de referencia de Meta, señalando inconsistencias cuando intentaron replicar los resultados. En particular, algunos usuarios encontraron que Llama-4 superaba ciegamente a otros modelos, incluso cuando las respuestas proporcionadas eran incorrectas. Esto ha generado un debate sobre la transparencia y la fiabilidad de las pruebas realizadas por Meta.
Desafíos en la práctica: ¿Es Llama-4 realmente tan avanzado?
A pesar de las impresionantes especificaciones técnicas y las afirmaciones de Meta, los resultados en las pruebas iniciales no han sido tan deslumbrantes como se esperaba. Uno de los principales desafíos detectados fue la capacidad de recuperación de información del modelo. En una prueba clásica de “aguja en un pajar”, Llama-4 fue capaz de localizar frases específicas en textos largos solo en el 70% de los intentos a 85 mil tokens, una tasa de éxito que, si bien no es mala, está lejos de las promesas de Meta. Al aumentar el contexto a 300 mil tokens, el modelo fracasó completamente, lo que pone en duda la capacidad de Llama-4 para manejar los 10 millones de tokens que Meta había prometido.
Además, Llama-4 mostró dificultades con tareas de razonamiento lógico simples, como el clásico acertijo de la “hermana de la viuda”. El modelo proporcionó respuestas erróneas, señalando una “prohibición legal de afinidad” en lugar de reconocer la falacia lógica del problema. Este tipo de errores son inesperados para un modelo de inteligencia artificial de última generación y sugieren que Llama-4 aún tiene margen de mejora en el ámbito del razonamiento lógico y la resolución de problemas complejos.
Creatividad y narrativa: un punto fuerte de Llama-4
A pesar de las críticas a su desempeño en tareas técnicas y de razonamiento, Llama-4 ha demostrado ser bastante competente en la creación de textos creativos. En un ejercicio de escritura, Llama-4 generó una historia bien estructurada sobre un hombre que viaja al pasado para evitar un desastre histórico, pero termina causando el evento que trataba de prevenir. El modelo fue capaz de sumergir al lector en un contexto cultural profundo, con detalles sensoriales vívidos y una rica construcción del mundo, lo que lo convierte en una excelente opción para proyectos de escritura creativa.
Los límites de la censura y la seguridad
Otro aspecto a destacar es que Meta ha implementado filtros de seguridad extremadamente estrictos en Llama-4, lo que ha provocado que el modelo se niegue a interactuar con cualquier tema considerado potencialmente sensible o inapropiado. Si bien estos filtros ayudan a prevenir el uso malintencionado de la IA, también han generado frustración entre los desarrolladores, que se han encontrado con falsos positivos al intentar discutir temas legítimos de áreas como la ciberseguridad o la moderación de contenido. Sin embargo, la naturaleza de código abierto de Llama-4 permite que la comunidad de desarrolladores cree versiones personalizadas del modelo, eliminando estos filtros si lo desean.
Llama-4, ¿un futuro prometedor o una promesa no cumplida?
En resumen, Llama-4 es un modelo impresionante en muchos aspectos, especialmente en su capacidad para crear textos creativos y abordar tareas que requieren un contexto extenso. Sin embargo, las pruebas iniciales han revelado importantes limitaciones, especialmente en lo que respecta a la recuperación de información y el razonamiento lógico. Aunque Meta ha lanzado un modelo que compite con los mejores, la realidad es que aún hay trabajo por hacer para cumplir con las expectativas generadas por las promesas de la compañía. El modelo está lejos de ser un “cambio de juego”, pero su código abierto y las mejoras que se puedan realizar en el futuro lo convierten en una herramienta valiosa para desarrolladores y académicos.
Con el desarrollo continuo de Llama 4 Behemoth y la evolución de la tecnología detrás de estos modelos, es probable que Meta logre superar los obstáculos actuales y logre una versión más refinada de Llama-4 en el futuro.