Wirkung messen – ohne Scheinzahlen
Ein transparenter Ansatz für Piloten, Lernen und verantwortbare Behauptungen.
Worum es wirklich geht
Downloads und Klicks zeigen Nutzung, aber noch keine bessere Entscheidung. In Piloten trennen wir Reichweite, aktive Auseinandersetzung, Orientierungskompetenz und längerfristige Ergebnisse.
Deine nächsten Schritte
Arbeite die Schritte in deinem eigenen Tempo durch. Gute Orientierung entsteht nicht durch eine perfekte Entscheidung, sondern durch konkrete Vergleiche.
• Vorab konkrete Lernfragen definieren.
• Quantitative Signale mit qualitativen Gesprächen verbinden.
• Negative und uneindeutige Ergebnisse berichten.
• Keine Kausalität ohne geeignetes Design behaupten.
Fragen für ein gutes Gespräch
Nimm diese Fragen zu einem Gespräch mit einer Beratungsfachkraft, einer Lehrkraft, deiner Familie oder einem Ausbildungsbetrieb mit.
• Welche Veränderung wäre für die Zielgruppe bedeutsam?
• Was können wir mit diesem Design wirklich folgern?
• Welche unerwünschten Effekte prüfen wir?
Von Aktivität zu Wirkung
Wir unterscheiden Reichweite, Nutzung, unmittelbares Lernen, verändertes Verhalten und längerfristiges Ergebnis. Eine geöffnete Ressource ist Nutzung. Eine Person, die danach zwei Optionen anhand eigener Kriterien vergleichen kann, zeigt mögliches Lernen. Ein organisierter Betriebsbesuch ist Verhalten. Ein späterer Übergang kann relevant sein, wird aber von vielen Faktoren beeinflusst und darf nicht automatisch dem Produkt zugerechnet werden.
Vor einem Pilot definieren wir wenige Lernfragen, erwartete Mechanismen und mögliche Schäden. Wir legen fest, welche Daten wirklich nötig sind, wie qualitative Stimmen einfließen und wann wir eine Aussage nicht treffen können. Untergruppen werden nur ausgewertet, wenn Schutz und Aussagekraft gewährleistet sind.
Ein ehrliches Pilot-Scorecard-Beispiel
Eine Schule könnte prüfen, ob Lernende nach zwei Einheiten mehr konkrete Optionen benennen, Quellen unterscheiden und einen nächsten Schritt festlegen können. Das ist noch kein Nachweis besserer Langzeitergebnisse. Ergänzende Interviews müssen auch Nichtnutzung, Verwirrung und unerwünschten Druck erfassen.
• Lernfrage und gewünschte Veränderung vor Start festlegen.
• Ausgangslage und Teilnahmeverzerrung beschreiben.
• Nutzung nicht mit Wirkung gleichsetzen.
• Negative, neutrale und uneindeutige Ergebnisse berichten.
• Entscheidung über Fortführung an vorab benannte Kriterien binden.