Stanford-Forschende haben gerade aufgedeckt, warum sich Ihr LLM so anfühlt, als würde es auf Nummer sicher gehen – und wie Sie das mit null Retuning beheben.
Das Kernproblem: Mode Collapse (Modus-Zusammenbruch) durch RLHF-Alignment. Menschliche Annotator:innen haben einen Typicality-Bias – sie bevorzugen durchgehend vertraute, konventionelle Antworten statt ungewöhnlicher. Nach Tausenden von Präferenzvergleichen lernen die Modelle, ihre eigene Long-Tail-Verteilung zu unterdrücken. Die Kreativität wurde nie zerstört, sondern nur unter Schichten von von Menschen genehmigter Mittelmäßigkeit begraben.
Die Lösung: Verbalized Sampling. Statt eine einzelne Antwort abzufragen, fordern Sie das Modell auf, mehrere diverse Kandidaten zu generieren – mit expliziten Wahrscheinlichkeitsangaben – und gezielt auf die Region mit niedriger Wahrscheinlichkeit (unter 0.10) seiner Verteilung abzuzielen.
Ergebnisse im Benchmark:
• Semantische Vielfalt stieg um 1,6× auf 2,1×
• ~66,8% der Basis-Modell-Vielfalt wiederhergestellt
• Qualität und faktische Korrektheit beibehalten
• Sicherheits-Grenzen intakt
• Größere Modelle profitieren am stärksten
Die Technik ist training-free. Sie weisen das Modell im Grunde an, seine durch das Alignment induzierte Zurückhaltung zu ignorieren und aus den unterdrückten Regionen zu ziehen, die es gelernt hat zu vermeiden.
Prompt-Vorlage: Fragen Sie nach 10+ deutlich unterschiedlichen Antworten, jeweils mit Wahrscheinlichkeitsabschätzung. Fordern Sie explizit Optionen mit niedriger Wahrscheinlichkeit ( < 0.10) an, aber logisch gültige. Legen Sie Explorationsachsen fest: unterschiedliche Annahmen, Frameworks, Randfälle, konträre Blickwinkel.
Das funktioniert für kreatives Schreiben, Brainstorming, Dialoggenerierung und synthetische Daten. Das Modell hat die Fähigkeiten bereits – das Alignment hat ihm nur beigebracht, sie vor Ihnen zu verbergen.
Paper: "Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity"
Das Kernproblem: Mode Collapse (Modus-Zusammenbruch) durch RLHF-Alignment. Menschliche Annotator:innen haben einen Typicality-Bias – sie bevorzugen durchgehend vertraute, konventionelle Antworten statt ungewöhnlicher. Nach Tausenden von Präferenzvergleichen lernen die Modelle, ihre eigene Long-Tail-Verteilung zu unterdrücken. Die Kreativität wurde nie zerstört, sondern nur unter Schichten von von Menschen genehmigter Mittelmäßigkeit begraben.
Die Lösung: Verbalized Sampling. Statt eine einzelne Antwort abzufragen, fordern Sie das Modell auf, mehrere diverse Kandidaten zu generieren – mit expliziten Wahrscheinlichkeitsangaben – und gezielt auf die Region mit niedriger Wahrscheinlichkeit (unter 0.10) seiner Verteilung abzuzielen.
Ergebnisse im Benchmark:
• Semantische Vielfalt stieg um 1,6× auf 2,1×
• ~66,8% der Basis-Modell-Vielfalt wiederhergestellt
• Qualität und faktische Korrektheit beibehalten
• Sicherheits-Grenzen intakt
• Größere Modelle profitieren am stärksten
Die Technik ist training-free. Sie weisen das Modell im Grunde an, seine durch das Alignment induzierte Zurückhaltung zu ignorieren und aus den unterdrückten Regionen zu ziehen, die es gelernt hat zu vermeiden.
Prompt-Vorlage: Fragen Sie nach 10+ deutlich unterschiedlichen Antworten, jeweils mit Wahrscheinlichkeitsabschätzung. Fordern Sie explizit Optionen mit niedriger Wahrscheinlichkeit ( < 0.10) an, aber logisch gültige. Legen Sie Explorationsachsen fest: unterschiedliche Annahmen, Frameworks, Randfälle, konträre Blickwinkel.
Das funktioniert für kreatives Schreiben, Brainstorming, Dialoggenerierung und synthetische Daten. Das Modell hat die Fähigkeiten bereits – das Alignment hat ihm nur beigebracht, sie vor Ihnen zu verbergen.
Paper: "Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity"