Fragen und Antworten

Was soll das hier?

Die JournArena will die besten KI-Sprachmodelle für deutschsprachigen Journalismus finden. Mit deiner Beteiligung!

Was kann/soll ich hier tun?

• Wenn du nur schauen willst, kannst du die Ranglisten anschauen - was ist die beste KI für deutschsprachigen Journalismus? (Nach Ansicht der Nutzerinnen und Nutzer dieser Plattform). Bei den Ranglisten gibt es: ein Gesamtergebnis, und Ranglisten für verschiedene journalistische Disziplinen.
• Wenn du mithelfen willst: such dir eine journalistische Aufgabe aus, stell sie der KI, und bewerte das Ergebnis.
• Was du dafür tun musst: auswählen, welche der beiden KI-Antworten dir besser gefällt.

Wie entstehen die Ranglisten?

• Die Nutzer stellen Aufgaben: zum Beispiel einen Text zusammenfassen.
• Zwei zufällig KI bekommen diese Aufgabe. Es dauert dann ein bisschen, bis beide geantwortet haben.
• Als Nutzer weißt du nicht, welche Antwort von welcher KI ist.
• Du musst entscheiden, welche der Antworten du besser findest - eine "Spielrunde"
• Das wird als "Sieg" für das KI-Modell gewertet.
• Aus den Siegen lässt sich eine Rangliste und ein Vergleichswert berechnen - ähnlich wie bei Schachspielern die ELO-Punktzahl der Spielstärke, nur mit einem anderen Verfahren.
• Wie belastbar eine Positionierung ist, wird mithilfe des "Wilson-Intervalls" angegeben.
• Je mehr Runden einfließen, desto aussagekräftiger ist der Vergleich.

Wie verlässlich ist das?

So verlässlich wie jedes Verfahren, das Crowdsourcing einsetzt: wenn genügend Menschen mitmachen, bekommt man einen ganz guten Eindruck, was besser funktioniert.

Ein paar wichtige Einschränkungen:

• Alles steht und fällt mit der Anzahl der Nutzer.
• Theoretisch ist möglich, dass die Nutzerinnen und Nutzer einen Bias haben - zum Beispiel, weil überwiegend Journalist:innen aus öffentlich-rechtlichen Medien teilnehmen, oder mehr Radio- oder Online-Journalisten. Das kann das Ergebnis verzerren.
• Eine der Schwächen: Modelle, die stärker zur syncophancy neigen - die den Nutzern sagen, was sie hören wollen - haben einen leichten Vorteil.

Warum anmelden?

• Du kannst bei JournArena auch ohne Anmeldung mitmachen. Dann ist die Plattform allerdings nach wenigen Versuchen für dich erst einmal wieder gesperrt. So soll verhindert werden, dass böse Menschen die Plattform manipulieren.
• Wenn du dich registrierst, bekommst du ein Guthaben - das mit der KI-Nutzung verrechnet wird. Es wird monatlich aufgewertet - du kannst die Plattform also häufiger nutzen.
• Das Guthaben hängt am Konto, nicht am Browser: neue Sitzung oder gelöschte Cookies ändern daran nichts.

Wozu ein Guthaben?

• Verrechnet werden die tatsächlichen Kosten der KI-Anbieter. Teure Modelle brauchen das Guthaben also schneller auf - günstige Modelle bekommen dadurch mehr Runden, und nicht immer ist das aufwändigste Modell das beste.
• Außerdem wird so die Nutzung von nicht angemeldeten Usern auf ein vernünftiges Maß beschränkt.

Wer steht dahinter?

• Gebaut von Jan Eggers, freier KI-Journalist in der ARD, aus privatem Interesse.
• Der Server frankruft.de wird von mir als Testserver betrieben.
• Die Kosten übernehme ich - wer mag, darf sich mit einer Spende beteiligen, die ich an Organisationen für digitale Bürgerrechte durchreiche. (INFOS)

Rückfragen? Nutze bitte das Kontaktformular.

Datenschutzinfos

Das Wichtigste in drei Sätzen: Was du eingibst, geht an die KI-Anbieter — die meisten in den USA. Nimmst du den Haken „für die Auswertung freigeben" weg, speichere ich von deiner Eingabe und den Antworten nichts. Nach 30 Tagen werden alle Texte gelöscht, übrig bleiben die Zahlen für die Rangliste.

Ausführlich, und ebenso knapp: Datenschutz.

Und ein Hinweis, der nicht in die Erklärung gehört, sondern in die Praxis: Die API-Nutzungsbedingungen schließen in der Regel eine Nutzung eingegebener Daten für Trainingszwecke aus — trotzdem ist es vermutlich eine gute Idee, besonders sensible oder exklusive Informationen nicht in der JournArena zu nutzen.