Ingeniería de Inferencia Local
Calculadora de VRAM, Cuantización y Velocidad para LLMs
Verifica los requisitos exactos de memoria y velocidad de inferencia para DeepSeek-R1-Distill-Llama-70B en GeForce RTX 4090 24GB.
PARÁMETROS Y CONTROLES DE ENTRADA
Sincronización en Vivo2.06 bpw
8,192 tokens
2k8k16k32k64k128k
24 GB VRAM
64 GB RAM
CONSOLA DE TELEMETRÍA Y CÁLCULO
VRAM Total Requerida
18.78GB / 24 GB
100% en VRAM (Velocidad Máxima)
Ocupación de VRAM de la GPU78%
Desglose Matemático Fila por Fila
Memoria de Pesos (Weights)70.6B parámetros a 2.06 bits por peso.
16.93GB
Memoria KV Cache (Contexto)Contexto: 8,192 tokens en formato Q4_0.
0.63GB
Buffer CUDA y SobrecargaReserva de drivers, contexto de ejecución y tensores scratchpad.
1.23GB
Capas en GPU vs CPU100% de la red neuronal acelerada por VRAM.
80 / 80en GPU
Velocidad Estimada de GeneraciónLimitada por 1008 GB/s de ancho de banda de memoria.
40.5 t/s
Ecuación Aplicada (Valores Actuales):
VRAM_Total (18.78 GB) = Pesos (16.93 GB) + KV Cache (0.63 GB) + CUDA Buffer (1.23 GB)
Metodología Técnica y Guía de Referencia
Matriz de Cuantizaciones para DeepSeek-R1-Distill-Llama-70B
| Formato | Tamaño Total | ¿Entra en VRAM? | Velocidad Est. |
|---|---|---|---|
| FP16 / BF16 (Sin pérdida) | 137.94 GB | Offload CPU | 0 t/s |
| Q8_0 (Calidad Original) | 73.83 GB | Offload CPU | 0 t/s |
| Q6_K (Excelente fidelidad) | 57.25 GB | Offload CPU | 0.9 t/s |
| Q5_K_M (Equilibrado alto) | 49.81 GB | Offload CPU | 1.2 t/s |
| Q4_K_M (Estándar Recomendado) | 42.63 GB | Offload CPU | 1.7 t/s |
| IQ4_XS (Cuantización Inteligente) | 37.5 GB | Offload CPU | 2.3 t/s |
| Q3_K_M (Ahorro agresivo) | 34.6 GB | Offload CPU | 2.9 t/s |
| Q2_K (Ultra comprimido) | 29.81 GB | Offload CPU | 5.3 t/s |
| IQ2_XXS (Mínimo absoluto) | 18.78 GB | ✓ 100% VRAM | 40.5 t/s |
Preguntas Frecuentes de Ingeniería
¿Qué pérdida de razonamiento tiene DeepSeek R1 70B en IQ2_XXS?
Los benchmarks de SOTA muestran que un modelo de 70B cuantizado en IQ2 retiene significativamente mayor capacidad de razonamiento lógico y programación que un modelo de 8B o 14B en FP16 nativo, convirtiéndolo en una opción viable.