Ingeniería de Inferencia Local
Calculadora de VRAM, Cuantización y Velocidad para LLMs
Verifica los requisitos exactos de memoria y velocidad de inferencia para Llama 3.1 8B (Meta) en GeForce RTX 3060 12GB.
PARÁMETROS Y CONTROLES DE ENTRADA
Sincronización en Vivo4.85 bpw
8,192 tokens
2k8k16k32k64k128k
12 GB VRAM
32 GB RAM
CONSOLA DE TELEMETRÍA Y CÁLCULO
VRAM Total Requerida
6.27GB / 12 GB
100% en VRAM (Velocidad Máxima)
Ocupación de VRAM de la GPU52%
Desglose Matemático Fila por Fila
Memoria de Pesos (Weights)8.03B parámetros a 4.85 bits por peso.
4.53GB
Memoria KV Cache (Contexto)Contexto: 8,192 tokens en formato FP16.
1GB
Buffer CUDA y SobrecargaReserva de drivers, contexto de ejecución y tensores scratchpad.
0.73GB
Capas en GPU vs CPU100% de la red neuronal acelerada por VRAM.
32 / 32en GPU
Velocidad Estimada de GeneraciónLimitada por 360 GB/s de ancho de banda de memoria.
54 t/s
Ecuación Aplicada (Valores Actuales):
VRAM_Total (6.27 GB) = Pesos (4.53 GB) + KV Cache (1.00 GB) + CUDA Buffer (0.73 GB)
Metodología Técnica y Guía de Referencia
Matriz de Cuantizaciones para Llama 3.1 8B (Meta)
| Formato | Tamaño Total | ¿Entra en VRAM? | Velocidad Est. |
|---|---|---|---|
| FP16 / BF16 (Sin pérdida) | 17.11 GB | Offload CPU | 5.2 t/s |
| Q8_0 (Calidad Original) | 9.81 GB | ✓ 100% VRAM | 30.8 t/s |
| Q6_K (Excelente fidelidad) | 7.93 GB | ✓ 100% VRAM | 39.9 t/s |
| Q5_K_M (Equilibrado alto) | 7.08 GB | ✓ 100% VRAM | 46 t/s |
| Q4_K_M (Estándar Recomendado) | 6.27 GB | ✓ 100% VRAM | 54 t/s |
| IQ4_XS (Cuantización Inteligente) | 5.68 GB | ✓ 100% VRAM | 61.6 t/s |
| Q3_K_M (Ahorro agresivo) | 5.35 GB | ✓ 100% VRAM | 67 t/s |
| Q2_K (Ultra comprimido) | 4.81 GB | ✓ 100% VRAM | 78.2 t/s |
| IQ2_XXS (Mínimo absoluto) | 3.55 GB | ✓ 100% VRAM | 127.1 t/s |
Preguntas Frecuentes de Ingeniería
¿Puedo correr Llama 3.1 8B a 128k de contexto en la RTX 3060 12GB?
A 128k tokens en FP16, el KV Cache consumiría 8.0 GB, lo que sumado a los 4.54 GB de pesos superaría los 12 GB de la tarjeta. Sin embargo, activando cuantización de KV Cache en Q4_0 (2.0 GB), entra perfectamente dentro de los 12 GB sin salir a RAM.
¿Qué pérdida de razonamiento tiene DeepSeek R1 70B en IQ2_XXS?
Los benchmarks de SOTA muestran que un modelo de 70B cuantizado en IQ2 retiene significativamente mayor capacidad de razonamiento lógico y programación que un modelo de 8B o 14B en FP16 nativo, convirtiéndolo en una opción viable.