From Dev.to
Wie viel Speicher braucht ein lokales LLM?
Bevor man ein Modell zum lokalen Ausführen herunterlädt, stellt sich die Frage, ob es in den Speicher passt. Die Schätzung besteht aus drei Summanden, verglichen mit dem, was der Rechner dem Modell ta...