LLM Benchmarks April 2025

Neue Modelle von OpenAI haben sich gut in unserem Ranking für logisches Denken platziert. o3-mini und o4-mini erreichten Spitzenplätze, während die günstigeren Versionen 4.1 (base und mini) die Plätze 8 und 13 belegten.

Große Überraschungen gibt es dabei nicht – abgesehen von den Betriebskosten dieser Modelle.

Die Modelle der Qwen-Reihe gelten längst als bewährter „Geheimtipp“ für Teams, die Large Language Models (LLM) lokal betreiben möchten.
Bereits Qwen 2.5 wurde erfolgreich in zahlreichen Projekten eingesetzt – was sich auch in den relativ hohen Ergebnissen in unserem Benchmark für logisches Denken widerspiegelte.

Mit den neuen Qwen3-Modellen wurde die Messlatte jetzt noch einmal höher gelegt. Qwen3 steht in verschiedenen Varianten zur Verfügung: als Standardmodelle sowie als Mixture-of-Experts-Modelle.

Zwar benötigen diese Modelle für die Verarbeitung komplexer Probleme etwas mehr Zeit, ihre Genauigkeit liegt jedoch auf dem Niveau der besten Cloud-Modelle.

Damit eignen sie sich besonders gut für anspruchsvolle Enterprise-Aufgaben, bei denen höchste Genauigkeit entscheidend ist und die problemlos über Nacht laufen können.

Der Release von Qwen3 hebt den Standard für lokale Sprachmodelle weiter an und setzt Cloud-Anbieter zunehmend unter Druck. Doch die Entwicklung bleibt hier nicht stehen.

Wir erinnern uns, dass Google früher oft hinterherlief. Die ersten Gemini-Modelle lagen deutlich hinter OpenAI zurück, und das viel gelobte Gemini Ultra kam nie auf den Markt.

Seitdem hat Google jedoch das Blatt Schritt für Schritt gewendet. Zwar erreicht man noch nicht ganz die Spitzenpositionen von OpenAI, liefert aber kontinuierlich Modelle innerhalb der Top-10 – und schlägt OpenAI bei Preis und Stabilität.

Gemini-2.5-Flash Preview im Thinking Mode ist derzeit das beste Google-Modell in unserem Benchmark. Gemini 2.5 Pro Preview belegt die Plätze 4 und 10. Gemini 2.5 Flash im Non-Thinking Mode erreicht Platz 16.

Benchmarks sind jedoch nur eine Annäherung an reale Szenarien. Deshalb zwei ergänzende Datenpunkte aus der Praxis:

Erstens verlassen sich erfahrene Entwickler:innen (mit Zugriff auf Mistral, Anthropic, ChatGPT Pro und Gemini) zunehmend auf Gemini 2.5 Pro als bevorzugtes Tool für KI-gestütztes Coding. Besonders gelobt wird die Qualität der Antworten und die zuverlässige Arbeit mit großem Kontext. So ist es üblich, wesentliche Codeabschnitte (bis zu 50.000 Token) direkt in den Prompt zu kopieren und dann interaktiv mit dem Chat weiterzuarbeiten, bis der Gesamtkontext 200.000–500.000 Token erreicht.

Ein weiteres Beispiel betrifft das Verständnis komplexer Dokumente. In den letzten Monaten hören wir von Kolleg:innen aus der KI-Forschung vermehrt:
 „Wenn es um die zuverlässige Verarbeitung von Unternehmensdokumenten geht, nutze Google Gemini LLM.“

Wir haben dies geprüft. In einer unserer Evaluierungen luden wir beispielsweise ein Compliance-PDF in eine Graph-Datenbank, um es weiter zu analysieren. Herausfordernd dabei: Solche Dokumente umfassen oft mehrere hundert Seiten und müssen daher seitenweise geladen werden. Außerdem sind sie stark verschachtelt, wodurch besondere Sorgfalt erforderlich ist, um Inhalte korrekt über Seitenumbrüche hinweg zuzuordnen.

Modelle von Anthropic, Mistral und sogar OpenAI scheitern daran, Inhalte zuverlässig über Seitenumbrüche hinweg zu „verknüpfen“. Sie verlieren selbst bei relativ kleinen Kontexten schnell den Überblick und geben den Originaltext oft verfälscht wieder.

Google Gemini 2.5 Pro dagegen bewältigt exakt dieselbe Aufgabe (bei identischen Eingaben) zuverlässig. Das macht dieses Modell zu einer starken Alternative gegenüber den OpenAI-Modellen, insbesondere bei KI-gestützten Arbeitsabläufen mit umfangreichen Dokumenten.

Im Rahmen des Entwicklungsprogramms bei TIMETOACT GROUP Österreich führen wir die Embrace AI Initiative durch – ein Experiment, bei dem erfahrene Softwareentwickler:innen im Umgang mit modernen KI-Coding-Tools geschult werden. Dieses Programm ist auch in unseren AI-Research-Prozess integriert und stärkt ihn durch wertvolle Impulse aus der breiteren Expert:innen-Community.

Wie bereits erwähnt, lautet die erste Erkenntnis aus diesem Prozess, dass Anwender:innen im Alltag zunehmend von OpenAI- und Sonnet-3.7-Modellen auf Google Gemini 2.5 Pro wechseln. Dieser Trend betrifft sogar Entwickler:innen, die lange auf Sonnet 3.5 gesetzt hatten.

Der Grund für diesen Wechsel liegt in der effektiven Kombination aus Kontextgröße (die Menge an Kontext, die das Modell zuverlässig verarbeiten kann), Geschwindigkeit, Qualität und Kosteneffizienz, die Gemini-Modelle bieten.

Dieser Wechsel ist kein Massenphänomen – er betrifft ausschließlich erfahrene Entwickler:innen, die nicht an einen bestimmten KI-Anbieter gebunden sind und die Freiheit haben, für ihre Aufgaben das jeweils beste Tool zu wählen.

Die zweite Erkenntnis betrifft die Tool-Landschaft: Chats im Vergleich zu komplexen Multi-Agent-Entwicklungsumgebungen (IDEs). Um dies zu verdeutlichen, zeigen wir Ihnen ein Beispiel einer konkreten Aufgabe aus unserem Embrace-AI-Programm:

Den Softwareentwickler:innen stand es frei, beliebige Kombinationen von Tools einzusetzen – angefangen von einfachen Chats bis hin zu fortschrittlichen IDEs und Coding-Agenten. Wir ließen ihnen hierbei freie Hand, baten jedoch darum, die dafür benötigte Zeit zu messen.

Die schnellste Lösung entstand mithilfe von Anthropic Claude, ergänzt um Tools für den Zugriff auf PowerShell und Dateiverzeichnisse. Die Umsetzung dauerte insgesamt 30 Minuten und erforderte relativ viele Prompts und Tokens.

Andere Lösungen benötigten etwa 1,5 bis 2 Stunden für die Umsetzung des Codes. Hierbei waren menschliche Steuerung und gelegentliches Nachjustieren der verwendeten KI-Agenten nötig.

Das gleiche Programm ohne KI von Grund auf neu zu schreiben, würde wahrscheinlich mehrere Stunden dauern. Somit lieferte die beste KI-gestützte Lösung einen deutlichen Produktivitätsschub. Die mittlere KI-Lösung brauchte etwa gleich lang wie ein erfahrener Entwickler ohne KI-Unterstützung.

Dann haben wir die Aufgabenstellung umgedreht und die Herausforderung noch einmal erhöht:

Der Zweck dieser Übung bestand darin, deutlich zu machen, dass moderne KI-Tools oft eher hinderlich als hilfreich sind – und dass Entwickler:innen, die die Grundlagen des Programmierens mit KI wirklich verstehen, deutlich schneller zu besseren Ergebnissen gelangen.

Unsere eigene Lösung für diese Aufgabe dauerte 15 Minuten und bestand aus 2 Schritten:

1. Kopiere die Aufgabe („Kata“) in ChatGPT o1 pro, lasse das Modell Fragen zur Präzisierung der Aufgabe stellen und fasse anschließend alles in einem knappen Prompt zusammen. Dieses Vorgehen nennen wir in unseren Materialien „Prompt Distillation“.

2. Der resultierende Prompt war 432 Token (1833 Zeichen) lang. Er lieferte bereits beim ersten Versuch eine funktionierende Lösung, nachdem er in GPT-o1 pro, GPT-4.5 und Claude 3.7 eingefügt wurde.

Ein anderer Entwickler nutzte Gemini 2.5 Pro für die „Prompt Distillation“ und kam in 15 Minuten zu einem ähnlichen Ergebnis (allerdings umfasste sein finaler Gemini-generierter Prompt 1191 Token bzw. 4598 Zeichen).

Klingt beeindruckend, oder? Unsere AI-Research-Community hat die Herausforderung ernst genommen und es sogar geschafft, noch weiterzugehen:

Ein Entwickler schrieb händisch einen Prompt mit nur 70 Token (313 Zeichen), der auf Gemini 2.5 Pro und Sonnet 3.7 direkt funktionierte. Dieser Prompt lief auch auf GPT-4o fast ohne Anpassung (nur eine Folgefrage war erforderlich). 

Der Prompt sah folgendermaßen aus:

Ein weiterer Entwickler benötigte nur 7 Minuten für einen Prompt (194 Token + 298 Token eigene Anweisungen), der auf Anhieb auf Claude 3.7 ein valides Ergebnis lieferte.