Fragen und Antworten

Was soll das hier?

Die JournArena will die besten KI-Sprachmodelle für deutschsprachigen Journalismus finden. Mit deiner Beteiligung!

Was kann/soll ich hier tun?

• Wenn du nur schauen willst, kannst du die Ranglisten anschauen - was ist die beste KI für deutschsprachigen Journalismus? (Nach Ansicht der Nutzerinnen und Nutzer dieser Plattform). Bei den Ranglisten gibt es: ein Gesamtergebnis, und Ranglisten für verschiedene journalistische Disziplinen.
• Wenn du mithelfen willst: such dir eine journalistische Aufgabe aus, stell sie der KI, und bewerte das Ergebnis.
• Was du dafür tun musst: auswählen, welche der beiden KI-Antworten dir besser gefällt.

Wie entstehen die Ranglisten?

• Die Nutzer stellen Aufgaben: zum Beispiel einen Text zusammenfassen.
• Zwei zufällig KI bekommen diese Aufgabe. Es dauert dann ein bisschen, bis beide geantwortet haben.
• Als Nutzer weißt du nicht, welche Antwort von welcher KI ist.
• Du musst entscheiden, welche der Antworten du besser findest - eine "Spielrunde"
• Das wird als "Sieg" für das KI-Modell gewertet.
• Aus den Siegen lässt sich eine Rangliste und ein Vergleichswert berechnen - ähnlich wie bei Schachspielern die ELO-Punktzahl der Spielstärke, nur mit einem anderen Verfahren.
• Wie belastbar eine Positionierung ist, wird mithilfe des "Wilson-Intervalls" angegeben.
• Je mehr Runden einfließen, desto aussagekräftiger ist der Vergleich.

Wie verlässlich ist das?

So verlässlich wie jedes Verfahren, das Crowdsourcing einsetzt: wenn genügend Menschen mitmachen, bekommt man einen ganz guten Eindruck, was besser funktioniert.

Ein paar wichtige Einschränkungen:

• Alles steht und fällt mit der Anzahl der Nutzer.
• Theoretisch ist möglich, dass die Nutzerinnen und Nutzer einen Bias haben - zum Beispiel, weil überwiegend Journalist:innen aus öffentlich-rechtlichen Medien teilnehmen, oder mehr Radio- oder Online-Journalisten. Das kann das Ergebnis verzerren.
• Eine der Schwächen: Modelle, die stärker zur syncophancy neigen - die den Nutzern sagen, was sie hören wollen - haben einen leichten Vorteil.

Warum anmelden?

• Du kannst bei JournArena auch ohne Anmeldung mitmachen. Dann ist die Plattform allerdings nach wenigen Versuchen für dich erst einmal wieder gesperrt. So soll verhindert werden, dass böse Menschen die Plattform manipulieren.
• Wenn du dich registrierst, bekommst du ein Guthaben - das mit der KI-Nutzung verrechnet wird. Es wird monatlich aufgewertet - du kannst die Plattform also häufiger nutzen.
• Das Guthaben hängt am Konto, nicht am Browser: neue Sitzung oder gelöschte Cookies ändern daran nichts.

Wozu ein Guthaben?

• Verrechnet werden die tatsächlichen Kosten der KI-Anbieter. Teure Modelle brauchen das Guthaben also schneller auf - günstige Modelle bekommen dadurch mehr Runden, und nicht immer ist das aufwändigste Modell das beste.
• Außerdem wird so die Nutzung von nicht angemeldeten Usern auf ein vernünftiges Maß beschränkt.

Wer steht dahinter?

• Gebaut von Jan Eggers, freier KI-Journalist in der ARD, aus privatem Interesse.
• Der Server frankruft.de wird von mir als Testserver betrieben.
• Die Kosten übernehme ich - wer mag, darf sich mit einer Spende beteiligen, die ich an Organisationen für digitale Bürgerrechte durchreiche. (INFOS)

Rückfragen? Nutze bitte das Kontaktformular.

Datenschutzinfos

• Die Eingaben der Nutzer werden an die API der KI-Anbieter durchgereicht. (OpenAI, Anthropic, Google, Mistral...)
• Für Open-Weights-Modelle wie DeepSeek-V4-flash nutze ich OpenRouter.ai.
• Die API der Sprachmodelle bekommt keine Informationen über die Nutzer zu sehen.
• Deine Eingabe und beide KI-Antworten werden zusammen mit deiner Entscheidung gespeichert, um sie statistisch auswerten zu können. Entfernst du den entsprechenden Haken, werden die Texte nicht gespeichert — die Entscheidung selbst schon, sonst gäbe es keine Rangliste.
• Gespeicherte Texte werden nach 30 Tagen gelöscht. Was bleibt, sind die Zahlen: welche Modelle angetreten sind, wer gewonnen hat, Kosten und Antwortzeit.
• Angemeldete Nutzer: Entscheidungen sind über die Sitzung dem Konto zugeordnet. Ausgewertet und veröffentlicht wird ausschließlich zusammengefasst — in der Rangliste steht kein einzelnes Votum.
• Die IP-Adresse wird nur als Hash gespeichert, um die Nutzung zu begrenzen.
• Server-Logs (Apache) werden nach 30 Tagen gelöscht.

Die API-Nutzungsbedingungen schließen in der Regel eine Nutzung eingegebener Daten für Trainingszwecke aus - trotzdem ist es vermutlich eine gute Idee, besonders sensible oder exklusive Informationen nicht in der JournArena zu nutzen.