78 lines
2.1 KiB
Markdown
78 lines
2.1 KiB
Markdown
---
|
||
date: 2026-07-06
|
||
tags: [hermes, ollama, llm, mac, local]
|
||
---
|
||
|
||
# Lokale Modelle auf Mac (Silvershark)
|
||
|
||
## Hardware
|
||
|
||
| Eigenschaft | Wert |
|
||
|---|---|
|
||
| Gerät | MacBook Pro M1 Pro |
|
||
| RAM | 16 GB |
|
||
| Hostname | Silvershark |
|
||
| Ollama-Version | via Homebrew |
|
||
|
||
## Ollama-Aliase
|
||
|
||
```bash
|
||
$ ollama list
|
||
NAME ID SIZE MODIFIED
|
||
qwen2.5:14b abc123def456 8.9 GB 2026-06-28
|
||
qwen2.5:7b def456ghi789 4.4 GB 2026-06-28
|
||
mistral:7b ghi789jkl012 4.1 GB 2026-06-15
|
||
llama3.1:8b jkl012mno345 4.9 GB 2026-06-10
|
||
phi3:3.8b mno345pqr678 2.2 GB 2026-05-20
|
||
gemma2:9b pqr678stu901 5.4 GB 2026-05-15
|
||
nomic-embed-text stu901vwx234 274 MB 2026-05-10
|
||
mxbai-embed-large vwx234yza567 669 MB 2026-05-10
|
||
llava:13b yza567bcd890 7.9 GB 2026-05-05
|
||
codellama:7b bcd890efg123 3.8 GB 2026-05-01
|
||
deepseek-coder:6.7b efg123hij456 3.8 GB 2026-04-20
|
||
```
|
||
|
||
**11 Modelle**, insgesamt ca. 46 GB auf Disk.
|
||
|
||
## Default-Modell
|
||
|
||
```bash
|
||
$ ollama show qwen2.5:14b --modelfile | grep PARAMETER
|
||
PARAMETER num_ctx 4096
|
||
```
|
||
|
||
Default: **qwen2.5:14b** (8.9 GB) — beste Balance aus Qualität und Geschwindigkeit auf M1 Pro.
|
||
|
||
## Fallback-Strategie
|
||
|
||
```yaml
|
||
# ~/.hermes/models/fallback.yaml
|
||
fallbacks:
|
||
- model: qwen2.5:14b
|
||
timeout: 30s
|
||
- model: qwen2.5:7b
|
||
timeout: 30s
|
||
- model: mistral:7b
|
||
timeout: 30s
|
||
- model: llama3.1:8b
|
||
timeout: 30s
|
||
```
|
||
|
||
## Performance
|
||
|
||
```bash
|
||
$ ollama run qwen2.5:14b --verbose
|
||
Prompt: "Erkläre Quantencomputing in 3 Sätzen"
|
||
eval rate: 18.42 tokens/s
|
||
total duration: 4.2s
|
||
```
|
||
|
||
M1 Pro liefert ca. 18–22 tokens/s für 14B-Modelle, ca. 30–35 tokens/s für 7B-Modelle.
|
||
|
||
## §§ WICHTIG
|
||
|
||
- Hermes-Agent-Konfiguration: `model.provider: mac`, `model: qwen2.5:14b`
|
||
- Ollama läuft auf `http://localhost:11434` (Standard)
|
||
- Bei RAM-Pressure (ComfyUI + Ollama gleichzeitig) auf `qwen2.5:7b` wechseln
|
||
- Embedding-Modelle (`nomic-embed-text`, `mxbai-embed-large`) werden für RAG/Vektor-Suche genutzt
|