Vilka AI-modeller kan du köra på din dator?
Skriv om din dator eller fyll i de uppgifter du känner till. Den fullständiga tabellen finns kvar även om JavaScript inte laddas.
Det här kan du köra
Mac-datorer med Apple-chip har inget separat VRAM: processor och grafik delar på samma minne.Den lokala motorn jämför vikter, KV-cache och tillgängligt minne. Ingen AI bestämmer siffrorna i beskedet.
Skriv in din dator för att se vilka modeller du kan köra.
Så räknas korten framKvantisering komprimerar modellen till färre bitar: mindre minne, något lägre kvalitet. Q4_K_M är den vanliga avvägningen.Token per sekund: hur snabbt modellen skriver. Uppskattas utifrån minnesbandbredden.Att dela upp modellen mellan grafikkort och processor när den inte får plats. Det fungerar, men blir betydligt långsammare.
- Vikter
- KV-cache
- Runtime och buffertar
- Uppskattat totalt
Rekommenderad kvantisering:
Uppskattad hastighet:
Katalog över lokala modeller
Ungefärligt minne för vikter, KV-cache och körningsöverhead med 4K tokens. Det är en första referens, inte en garanti för prestanda.
| Modell | Familj | Parametrar | Max kontext | Ungefärligt minne per kvantisering |
|---|---|---|---|---|
| SmolLM2 135M Instruct | SmolLM | 130 M | 8K |
|
| SmolLM2 360M Instruct | SmolLM | 360 M | 8K |
|
| Qwen2.5 0.5B Instruct | Qwen | 490 M | 32K |
|
| Qwen3 0.6B | Qwen | 750 M | 40K |
|
| Gemma 3 1B Instruct | Gemma | 1 B | 32K |
|
| Llama 3.2 1B Instruct | Llama | 1.24 B | 128K |
|
| Qwen2.5 1.5B Instruct | Qwen | 1.54 B | 32K |
|
| SmolLM2 1.7B Instruct | SmolLM | 1.71 B | 8K |
|
| DeepSeek-R1 Distill Qwen 1.5B | DeepSeek | 1.78 B | 128K |
|
| Qwen3 1.7B | Qwen | 2.03 B | 40K |
|
| Granite 3.1 2B Instruct | Granite | 2.53 B | 128K |
|
| Gemma 2 2B Instruct | Gemma | 2.61 B | 8K |
|
| Qwen2.5 3B Instruct | Qwen | 3.09 B | 32K |
|
| Llama 3.2 3B Instruct | Llama | 3.21 B | 128K |
|
| Phi-3.5 mini Instruct | Phi | 3.82 B | 128K |
|
| Phi-4 mini Instruct | Phi | 3.84 B | 128K |
|
| Qwen3 4B | Qwen | 4.02 B | 40K |
|
| Gemma 3 4B Instruct | Gemma | 4.3 B | 128K |
|
| DeepSeek Coder 6.7B Instruct | DeepSeek | 6.74 B | 16K |
|
| Mistral 7B Instruct v0.3 | Mistral | 7.25 B | 32K |
|
| DeepSeek-R1 Distill Qwen 7B | DeepSeek | 7.62 B | 128K |
|
| Qwen2.5 7B Instruct | Qwen | 7.62 B | 32K |
|
| Qwen2.5-Coder 7B Instruct | Qwen | 7.62 B | 32K |
|
| DeepSeek-R1 Distill Llama 8B | DeepSeek | 8.03 B | 128K |
|
| Llama 3 8B Instruct | Llama | 8.03 B | 8K |
|
| Llama 3.1 8B Instruct | Llama | 8.03 B | 128K |
|
| Llama 3.1 Nemotron Nano 8B v1 | Nemotron | 8.03 B | 128K |
|
| Granite 3.1 8B Instruct | Granite | 8.17 B | 128K |
|
| Qwen3 8B | Qwen | 8.19 B | 40K |
|
| Gemma 2 9B Instruct | Gemma | 9.24 B | 8K |
|
| Gemma 3 12B Instruct | Gemma | 12.19 B | 128K |
|
| Mistral NeMo 12B Instruct | Mistral | 12.25 B | 128K |
|
| Phi-4 14B | Phi | 14.66 B | 16K |
|
| DeepSeek-R1 Distill Qwen 14B | DeepSeek | 14.77 B | 128K |
|
| Qwen2.5 14B Instruct | Qwen | 14.77 B | 32K |
|
| Qwen2.5-Coder 14B Instruct | Qwen | 14.77 B | 32K |
|
| Qwen3 14B | Qwen | 14.77 B | 40K |
|
| Codestral 22B v0.1 | Mistral | 22.25 B | 32K |
|
| Mistral Small 3 24B Instruct | Mistral | 23.57 B | 32K |
|
| Gemma 2 27B Instruct | Gemma | 27.23 B | 8K |
|
| Gemma 3 27B Instruct | Gemma | 27.43 B | 128K |
|
| Qwen3 30B-A3B (MoE) | Qwen | 30.53 B | 40K |
|
| DeepSeek-R1 Distill Qwen 32B | DeepSeek | 32.76 B | 128K |
|
| Qwen2.5 32B Instruct | Qwen | 32.76 B | 32K |
|
| Qwen2.5-Coder 32B Instruct | Qwen | 32.76 B | 32K |
|
| Qwen3 32B | Qwen | 32.76 B | 40K |
|
| Mixtral 8x7B Instruct v0.1 (MoE) | Mistral | 46.7 B | 32K |
|
| Llama 3.3 70B Instruct | Llama | 70.55 B | 128K |
|
| Qwen2.5 72B Instruct | Qwen | 72.71 B | 32K |
|
Siffran kan variera beroende på runtime, operativsystem och konfiguration.
Så läser du siffrorna
Minnesvärdet utgår från den publicerade storleken på vikterna i varje GGUF-fil. Därefter läggs KV-cachen, som växer med kontextlängden, och en marginal för runtime och aktiveringar till.
Hastigheten är alltid en uppskattning: den beror på minnesbandbredd, processor, backend och inställningar. Den interaktiva motorn räknar senare ut ett besked utifrån dina uppgifter.
Vanliga frågor
Är VRAM samma sak som RAM?
Nej. VRAM tillhör grafikkortet och är ofta gränsen för att ladda en modell på GPU:n. Systemminnet kan hjälpa med CPU eller offload, men hastigheten blir vanligtvis lägre.
Varför spelar kontextstorleken roll?
KV-cachen växer när modellen behöver behålla fler tokens från samtalet eller dokumentet. Därför kan en modell få plats vid 4K men kräva mycket mer minne vid 32K.
Var laddar jag ner modellerna?
Ladda ner varje modell från projektets officiella repository eller från den officiella kanalen för verktyget du använder. DescargasIA lagrar inte installerare, modeller eller spegelsajter.