memoria GPU modelo 70B

Cuánta VRAM necesita un modelo de IA: tabla por tamaño

Cuánta memoria de GPU pide un modelo de IA local de 8B, 14B, 32B o 70B según la cuantización, cuánto suma el contexto y qué gama de tarjeta te hace falta.