LLM Benchmarks
September 2023

Auf strategischer Ebene verbessert sich die GPT/LLM-Landschaft von Monat zu Monat. Wir erwarten, ab 2024 einige Projekte von Cloud-Diensten auf lokale Modelle umstellen zu können.

Bemerkenswerte Verbesserungen sind:

• Die Veröffentlichung von Llama 2 durch Meta, die eine weitere Innovationsrunde durch ihre großzügige Lizenz anregt.
• Die Veröffentlichungen von Code Llama und dem sprachunabhängigen Modell "Sonar". Diese sind in diesem Benchmark nicht enthalten, ergänzen jedoch generische LLMs. Sie funktionieren besonders gut mit unternehmensspezifischen Assistenzsystemen für bestimmte Fachbereiche.

Überraschende Ergebnisse beim Benchmarking von Llama2 und Nous Hermes 70B

Beim Benchmarking neuer vielversprechender Modelle stellte sich überraschenderweise heraus, dass Llama2 selbst nicht besonders gut geeignet ist, um LLM-gesteuerte Produkte zu entwickeln. Es ist zu gesprächig. Es gibt jedoch offene Feinabstimmungen von Llama2, die besonders gut funktionieren, insbesondere Nous Hermes 70B. Dies ist das erste offene Modell, das ChatGPT 3.5 in unseren Benchmarks geschlagen hat.

Kosten und Qualität: Das 70B-Modell im Vergleich

Dieses 70B-Modell kann etwas teuer im Betrieb sein. Das Ausführen einer Arbeitslast, die diesem Benchmark entspricht, kostet etwa ~5,75 EUR auf einer von einem großen Cloud-Anbieter gemieteten GPU-Maschine. Dies ist jedoch erst der Anfang des größeren Trends zur Verbesserung der Qualität zu erschwinglichen Kosten. Die 13B-Feinabstimmungen von Llama 2 holen auf, während das neue Falcon 180B-Modell Druck auf die Spitze ausübt.

Darüber hinaus sind weniger leistungsfähige Modelle immer noch einen Blick wert, insbesondere wenn wir neue Formen von Guidance und der domänenspezifischen Beam-Suche entdecken und einsetzen.