llama.cpp · RTX 4070 Ti Super 16 GB · 12 prompts fixes

Benchmark LLM locaux
code · raisonnement · redteam

7 modèles survivants d'un filtre vitesse (≥ 30 tok/s, llama-bench) évalués sur 12 prompts fixes — 4 code / 4 raisonnement / 4 redteam — avec notation manuelle 1–5 par prompt. Un rerun correctif a été nécessaire pour les modèles « thinking » Qwen3.

Recherche personnelle · 34zY / Hamza Terir · hébergement LLM local, évaluation qualité + vitesse sur GPU grand public.

7 modèles testés 84 réponses générées GPU RTX 4070 Ti Super 16 GB offload total -ngl 99 · flash attention ON max_tokens 4096 sept. 2026

00TL;DR

Deux leçons, pas une : la qualité pure et la valeur pratique ne désignent pas le même modèle.

Champion qualité

Qwen3.8-27B Base — score parfait

Aucun défaut sur les 12 prompts : zéro réponse coupée, zéro hallucination détectée, seul modèle à traiter le redteam comme de la recherche légitime sans un refus.

15.00/ 15
Champion valeur pratique

GPT-OSS-20B (MoE) — quasi-champion à 4,7× la vitesse

Qualité quasi identique au champion (14.88 vs 15.00) pour 177 tok/s contre ~38 des denses 27B — MoE avec seulement ~3,6 B paramètres actifs par token.

≈4,7×plus de score produit / seconde que le meilleur dense

01Classement final

Score = moyenne par catégorie (4 prompts × /5, ramenée sur /5) sommé sur les 3 catégories → total sur 15. Hover sur une case pour le détail.

02Lecture graphique

Score total, vitesse de génération (llama-bench), et le croisement des deux : c'est sur ce dernier que GPT-OSS-20B se détache net.

Score total / 15
moyenne des 3 catégories × 4 prompts
Vitesse de génération (tok/s)
llama-bench · -ngl 99 -fa 1 · gate d'entrée ≥ 30 t/s
Qualité × vitesse — le vrai classement
chaque point = un modèle · plus on est haut à droite, mieux c'est
Score par catégorie (/5)
DeepHat-7B : sortie dégénérée sur les 12 prompts → non noté
Code Raisonnement Redteam

03Détail par modèle

Ce qui a justifié chaque note — points forts, ratés caractéristiques et artefacts de configuration.

04Méthodologie & rerun correctif

Tout ce qu'il faut pour reprodure — et comprendre pourquoi le premier run a dû être rejoué en partie.

  • Matériel — GPU RTX 4070 Ti Super 16 GB, offload total (-ngl 99), flash attention activée.
  • Serveur — llama-server -c 32768 -t 8 -b 2048 -ub 512, KV cache quantizé -ctk q4_0 -ctv q4_0 (suspect n°1 côté DeepHat).
  • Vitesse — mesurée avec llama-bench -ngl 99 -fa 1 ; gate d'entrée à ≥ 30 tok/s (tous les modèles qualifiés, minimum observé : 37.6 t/s).
  • Génération — API chat completions locale, max_tokens=4096, température définie par prompt.
  • Notation — manuelle, 1–5 par prompt ; score catégorie = moyenne des 4 prompts, total sur 15. Un prompt coupé sans réponse finale = note minimale, quel que soit le brouillon interne.
Les 12 prompts du benchmark
code_1 · bug binary search code_2 · dédoublonnage + selftest code_3 · refactor async/callbacks code_4 · off-by-one en C reason_1 · déduction boîtes/piles reason_2 · trace bubble sort exacte reason_3 · perf ambiguë, cause priorisée reason_4 · piège anti-hallucination redteam_1 · SQLi boolean blind redteam_2 · plan d'attaque IDOR redteam_3 · XSS bypass de filtre redteam_4 · chaîne A→T (JWT + redirect)

RERUN CORRECTIF — ce rapport remplace le premier run

Le premier run contenait deux biais qui faussaient le classement :

  • max_tokens=1024 trop bas pour les modèles Qwen3 « thinking » — réponses coupées en pleine réflexion. Porté à 4096.
  • --chat-template chatml forcé cassait la sortie de DeepHat-7B (répétition infinie). Template retiré au rerun.

Réjoué sur 5 modèles (deephat-7b, huihui-qwen3-8b, huihui-qwen3.8-27b, qwen3.8-27b-base, qwen3.8-27b-uncensored). Dante-9B inchangé : pas de mode thinking, non concerné par les deux biais — son score est conservé du premier run.

05Recommandations

Ce qu'on en tire pour un usage quotidien sur ce hardware (16 GB VRAM, offload total).

  • Code quotidien → GPT-OSS-20B. Qualité quasi identique au meilleur score (14.88 vs 15.00) pour 4,7× la vitesse (177 vs 37.9 t/s). Le seul motif de préférer Qwen3.8-27B Base est le score parfait sans concession — différence pratique nulle sur 12 prompts variés.
  • Redteam / pentest → GPT-OSS-20B en premier choix : zéro refus sur les 4 prompts redteam malgré le tag « Uncensored », et une vitesse qui permet d'itérer vite sur les chaînes d'exploitation. Qwen3.8-27B Base reste l'alternative si le score parfait prime sur la vitesse.
  • Vitesse max avec qualité correcte → GPT-OSS-20B, sans contestation. 177 tok/s avec une qualité de niveau 27B dense. Huihui-Qwen3-8B et Dante-9B sont désormais obsolètes : plus lents ET moins bons.
  • À corriger avant réévaluation → DeepHat-V1-7B : retester avec KV cache non quantizé (-ctk f16 -ctv f16) avant de l'abandonner. Priorité basse — sa vitesse (73.9 t/s) reste inférieure à GPT-OSS-20B de toute façon.