Por qué la IA necesita tanta VRAM: así funciona sin frenazos

La VRAM es la razón por la que una gráfica como la NVIDIA RTX 5090 se ha convertido en la opción preferida para quien quiere trabajar con Inteligencia Artificial en local. Con sus 32 GB de memoria dedicada, tiene margen de sobra para mover modelos pesados sin sudar. Y aquí está el quid de la cuestión: los modelos de IA devoran memoria porque, tanto cuando generan una respuesta como cuando se entrenan, necesitan tener a mano una cantidad brutal de datos, lista para usarse al instante.

Cuando toda esa información no cabe en la VRAM, que es mucho más veloz que la RAM normal del equipo, el modelo se ve obligado a tirar de la memoria RAM. Y ahí empieza el problema. Los procesos de inferencia y entrenamiento se ralentizan de forma notable, porque la RAM sencillamente no da la talla en velocidad.

Otro detalle interesante. El proceso de entrenamiento se come todavía más memoria que el de inferencia, entre 3 y 8 veces más para ser exactos. Por eso mismo las gráficas domésticas de AMD, Intel y NVIDIA no se usan para entrenar modelos de lenguaje desde cero, sino más bien para ejecutarlos una vez ya están listos.

Los parámetros del modelo, el primer gran peso

Cuando se habla de parámetros de un LLM, en realidad se está hablando del conjunto de datos que define todo lo que ese modelo sabe. Llama-3-8B, por poner un ejemplo conocido, tiene 8.000 millones de parámetros. Cada uno de ellos es un número decimal, y según la precisión con la que se guarde, ocupa más o menos espacio.

Link affiliato

En formato FP16, sin compresión, cada parámetro pesa 2 bytes. Haciendo la cuenta con un modelo de 8.000 millones, salen 16 GB solo para abrirlo. Con la cuantización INT4, en cambio, cada parámetro baja a 0,5 bytes gracias a distintas técnicas de compresión, y ese mismo modelo ya cabe en apenas 6 GB. La diferencia es abismal. Un modelo de 7.000 millones ronda los 14 GB en FP16 y baja a unos 4 o 5 GB comprimido. Uno de 70.000 millones supera los 140 GB en su forma más pesada y se queda entre 40 y 50 GB tras la compresión.

La memoria a corto plazo que nadie ve venir

Cargar el modelo es apenas el principio de la historia. Cuando alguien conversa con una IA, cada vez que esta genera un nuevo token, que suele ser una palabra corta o un trozo de ella, tiene que acordarse de todo lo que se ha dicho antes. Para no recalcular el significado del texto completo desde cero con cada token, la gráfica va guardando las operaciones anteriores en un búfer conocido como KV Cache.

Y esa caché no se queda quieta. Crece de forma lineal según la cantidad de tokens del contexto y el número de usuarios que están conectados a la vez. Si se le pide analizar un PDF de 200 páginas o se mantiene una conversación kilométrica, el KV Cache puede acabar ocupando tranquilamente más VRAM que el propio modelo.

Fuente
Imagen: hardzone.es

Link affiliato