Welchen Zweck verfolgt unsere Organisation? Wie wird das Leben der Menschen durch uns verändert? Wie können wir unsere soziale Wirkung messen? Jede Organisation sucht in der einen oder anderen Form nach Antworten auf diese Fragen. Das Verständnis und die Messung der eigenen Wirkung erleichtern die Suche nach Ressourcen und Gleichgesinnten (Partnern, Spendern, Freiwilligen), ermöglichen die Entwicklung und die Flexibilität bei der Suche nach Problemlösungen und der Bewältigung neuer Herausforderungen. Beim letzten Online-Workshop für die Teilnehmenden an den Projekten der 9. Phase des Förderprogramms Belarus wurde das Thema Wirkungsevaluation erörtert, das für belarussische zivilgesellschaftliche Organisationen in der „Zone der nächsten Entwicklung“ liegt.
Gegenwärtig wird der Beitrag der Zivilgesellschaft zur Lösung sozialer Probleme oft unterschätzt; häufiger hört man von der maßgeblichen Rolle des Staates und sozial verantwortlicher Unternehmen. Es gibt das Klischee, dass Nichtregierungsorganisationen (NGO) lediglich Probleme kleiner Zielgruppen in den Bereichen lösen, in denen sonst niemand arbeiten möchte. In diesem Zusammenhang ist es wichtig, dass NGOs damit beginnen, ihre Wirkung im Sinne des Beitrags zu einer besseren Lebensqualität der belarussischen Gesellschaft zu bewerten und diese Erfahrungen auch bei der Erstellung ihres Jahresberichts zu berücksichtigen.
Maksim Padbiarozkin, Experte des Förderprogramms Belarus, berichtete beim Workshop über moderne Methoden und Ansätze der Messung der sozialen Wirkung, die jede Organisation anwenden könnte. Die eigene Wirkung zu messen, ist erforderlich, um sie zu steuern. Beginnen sollte man mit der Definition des Problems, das die Organisation angehen will. Das Problem hängt oft mit der Mission der NGO und dem Verständnis ihrer Zielgruppe zusammen. Im Kern ist das Problem ein ungedeckter Bedarf der Zielgruppe. Um das Problem zu analysieren, muss man so viele Informationen wie möglich von seinen Kolleg*innen und Zielgruppenvertreter*innen einholen und dafür sollte man zuerst alle Personengruppen auflisten, die direkt oder indirekt mit dem Problem zu tun haben. Oft hängt ein Problem, das an der Oberfläche liegt, mit mehreren weiteren, nicht so offensichtlichen zusammen und so kann man durch Gespräche mit den Zielgruppen einen Problembaum erstellen. Um die Situation zu ändern, muss man die Ursachen ermitteln, analysieren, wie sie entstanden sind, und über Maßnahmen nachdenken, um sie zu beseitigen.
Es ist wichtig, sich darüber im Klaren zu sein, wer die Zielgruppe ist und welches Ergebnis der Problemlösung die Vertreter*innen dieser Gruppe zufrieden stellen wird. Zu diesem Zweck macht man sich eine Vorstellung (Vision) von den zu erzielenden Ergebnissen: wann können wir sagen, dass wir mit dem Ergebnis glücklich und zufrieden sind? Oft muss diese Vision entschlüsselt werden, etwa: was verstehen wir unter der aktiven Teilhabe an der Gesellschaft für eine ältere Person oder einer guten Freizeit für Jugendliche? Je genauer und ausführlicher unsere Wunschergebnisse formuliert sind, desto besser, zum Beispiel: wir möchten, dass die Menschen, mit denen wir arbeiten, an Freizeitaktivitäten teilnehmen, mindestens einmal im Jahr verreisen, sich an lokalen Entscheidungsprozessen beteiligen, regelmäßig miteinander kommunizieren können, über ausreichende Kompetenzen verfügen, um regelmäßig online mit Freunden und Verwandten zu kommunizieren usw. Auf diese Weise kommen wir zu Indikatoren, die im Weiteren gemessen werden.
Erfolgsindikatoren sollten gemeinsam mit Zielgruppenvertreter*innen, in unserem Beispiel mit Senior*innen, diskutiert und festgelegt werden, damit man weiß, wie sie selbst ihre aktive Teilnahme an der Gesellschaft verstehen. Entscheidet man sich für abstraktere Begriffe, z. B. dass wir wollen, dass ältere Menschen glücklich und zufrieden mit ihrem Leben sind, dann müssen wir ebenso darüber diskutieren, was sie unter Zufriedenheit verstehen und was sie ausmacht. Gemeinsam legen wir alle Indikatoren mit möglichst konkreten Formulierungen fest und überlegen uns, wie und mit welchem Aufwand diese Indikatoren gemessen werden können. Letztlich ist alles messbar, es gibt verschiedene Instrumente, qualitative und quantitative, standardisierte und nicht standardisierte, und die Genauigkeit der Messungen kann durch Erfahrung und Feedback verbessert werden. Das Wichtigste bei der Messung ist es, Veränderungen im Leben der Menschen zu verfolgen, und das ist durchaus möglich. Da Veränderungen dabei nicht nur in der Zielgruppe, sondern auch in deren Umfeld stattfinden, ist es sinnvoll, auch die Personen, die mit Zielgruppenvertreter*innen arbeiten oder umgehen, in die Analyse der Veränderungen einzubeziehen. Denken Sie also über die erwarteten Ergebnisse und deren Indikatoren nach: Wie nah sind Sie der Lösung des Problems in einem Jahr? Bestimmen Sie gemeinsam mit den Zielgruppenvertreter*innen, welche Veränderungen im Problembereich erwartet werden und welche Indikatoren helfen, diese zu erkennen. Wie werden sich die erreichten Veränderungen auf andere Lebensbereiche der Zielgruppen auswirken?
Ist es klar, welches Ziel angestrebt wird und wie die Veränderungen gemessen werden sollen, so kann man im nächsten Schritt mit der Planung von Aktivitäten beginnen, also von Maßnahmen, die zu ergreifen sind, um Veränderungen zu bewirken. Dafür listen Sie zuerst einfach die Aktivitäten auf, die Sie planen oder bereits durchführen. Es kann um völlig unterschiedliche Aktivitäten gehen, je nach den Teilzielen, die zusammen Ihr ideales Ergebnis bilden. Schon an der Formulierung von Teilzielen, z. B. „Die Lebensqualität älterer Menschen hängt von der Beherrschung moderner Technologien ab“ erkennt man oft bereits, was getan werden soll, um dieses Ziel zu erreichen. Glaubt man, dass die Lebensqualität vor allem mit der Möglichkeit zur Offline-Kommunikation zusammenhängt, dann würde man sich auf solche Aktivitäten wie Organisation von Clubs, Treffpunkten und weiteren erschwinglichen und ortsnahen Freizeitangeboten konzentrieren. Die Festlegung von Teilzielen erfolgt unbedingt auch in der Interaktion mit den Zielgruppen, dazu wird die Frage von der Art gestellt: wir wollen einen Computerkurs für Sie organisieren, lassen Sie uns gemeinsam überlegen, wie wir sie das am besten machen? Es ist möglich, dass die Diskussion Nuancen offenbart, die Sie vielleicht nicht kennen, etwa ob es in unserem Beispiel besser ist, einen jungen oder einen älteren Dozenten Lehrer zu haben, ob man lieber in kleinen oder großen Gruppen Unterricht erteilt, welche Art von Informationen im Kurs vermittelt werden müssten usw. Die Planung gestaltet sich viel einfacher, wenn man in engem Kontakt zur Zielgruppe steht.
Das Instrument „Wirkungstreppe“ (engl. Impact Ladder), das auf der Theorie des Wandels basiert, zeigt auf klare und verständliche Weise, was hier und jetzt bei der Evaluation der sozialen Wirkung getan und später im Jahresbericht der Organisation verwendet werden kann.
Die Treppe steht für die Stufen der sozialen Wirkung und somit auch für Informationen über die Erreichung der Indikatoren, die auf jeder Stufe zu sammeln sind. Die erste Stufe ist die grundlegende, man kann keine Stufen überspringen, da dies zu einem Qualitätsverlust der Ergebnisse führt. Wenn man mit der Umsetzung seines Plans erfassen anfängt, beginnt man gleichzeitig, Daten zu sammeln. Das Einfachste, was man dabei erfassen kann, sind Ihre konkreten Aktivitäten, die unternommen wurden, egal ob diese auf strategischer Ebene wie z. B. Rundtischgespräche oder auf praktischer Ebene wie Schulungen und Kampagnen angesiedelt sind. Man hält also fest, wie viele und welche Aktivitäten (Runde Tische, Fokusgruppen, Begegnungen usw.) planmäßig durchgeführt oder wie viele Leistungen erbracht wurden. Es sind Aktivitäten zu erfassen, die sich direkt oder indirekt an Zielgruppen richten.
Auf der zweiten Stufe erfassen Sie nun, wie viele Menschen Ihr Angebot (die durchgeführten Aktivitäten) genutzt haben, wie groß die Reichweite der Zielgruppe war. Für viele Organisationen ist es üblich, diese Daten regelmäßig zu erfassen, insbesondere im Rahmen von Projekten. Es ist auch wichtig, die negative Wirkung zu messen, z. B. wenn Freizeitaktivitäten für Senior*innen angeboten wurden, aber weniger Menschen zu den Veranstaltungen kamen als erwartet. Diese Informationen sind auch für die spätere Analyse der Ursachen nützlich, warum die Wirkung auf Ihre Zielgruppe gerade so ausgefallen ist.
Nachdem wir einige Aktivitäten durchgeführt und die Reichweite (Teilnehmerzahlen) gemessen haben, stellt sich als nächstes die Frage, inwieweit unsere Aktivitäten bzw. Leistungen von den Menschen, um die wir uns bemühen, akzeptiert werden, wie gut ihre Bedürfnisse damit erfüllt wurden, d. h. wie zufrieden sie waren. An dieser Stelle muss man bedenken, dass man teilweise positive Bewertungen erhalten kann, nur weil die befragten Teilnehmenden höflich und/oder die Feedbackinstrumente ungeeignet sind. Es ist daher wichtig, sich gut die Methoden überlegen, mit denen man an Informationen kommt, die die tatsächliche Situation widerspiegeln.
Das richtige Vorgehen auf der dritten Stufe kann mitunter für zivilgesellschaftliche Organisationen ein Grund zur Sorge sein. Fragebögen werden häufig verteilt, insbesondere nach Veranstaltungen, aber wird der Grad der Zufriedenheit immer gründlich gemessen? Die Lösung ist: wenn wir bereits in der Planungsphase die Zielgruppen einbeziehen, um die zur Zielerreichung erforderlichen Maßnahmen zu identifizieren, tragen wir zur Wirkung bei. Die Veranstaltung wird dann gezielter vorbereitet, sodass viel wahrscheinlicher ist, dass sich die Zielgruppenvertreter*innen für die Veranstaltung interessieren und am Ende auch zufriedener sind, weil sie an der Planung beteiligt waren. Sie verstehen, worum es geht, und können Ihnen eher sagen, wenn etwas geändert werden muss.
Wir erwarten, dass die Teilnehmenden eine neue Sicht auf die Dinge entwickeln, d. h. sie haben Leistungen erhalten bzw. sind zu einer Veranstaltung gekommen, es hat ihnen gefallen und dadurch wurden gewisse Veränderungen bei ihnen angestoßen: sie haben etwas verstanden, ihre Einstellung hat sich verändert, vielleicht haben sie neue Erkenntnisse bekommen. Der Weg vom Wissen zur praktischen Anwendung ist nicht immer direkt, aber er ist dennoch da. Dann ist die Motivation erforderlich, damit der Mensch den nächsten Schritt macht, nämlich sein Verhalten ändert und anders handelt. Aus der Sicht der Organisation ist es wichtig, gerade dies zu erfassen, es geht also nicht nur darum, wie viele Aktivitäten stattgefunden, wie viele Personen daran teilgenommen, ob sie ihnen gefallen haben, sondern man muss auch versuchen zu verstehen, welches neue Wissen die Menschen erworben haben und wie sich ihr gewohntes Verhalten dadurch verändert hat. Oft sind aber die ersten drei Stufen die einzigen, die zivilgesellschaftliche Organisationen bei der Bewertung ihrer Wirkung durchlaufen, während die wichtigsten Dinge erst danach stattfinden.
Stufe 4 und die weiteren sind anscheinend schwieriger zu messen, weil diese Wirkungen verzögert eintreten. Selbst nach sechs Monaten ist es schwer zu sagen, ob die Menschen neue Vorstellungen entwickelt und ihr Handeln geändert haben. Wenn die Organisation jedoch daran interessiert ist und es schafft, ihre diesbezügliche Wirkung zu evaluieren, dann beginnt ab Stufe 4 das Spannendste. Auf diese Ergebnisse kann die Organisation wirklich stolz sein.
Von einer Wirkung auf Stufe 6 spricht man, wenn die Menschen behaupten können, dass sich ihre Lebenslage durch neues Bewusstsein und Handeln verändert hat. Eine ältere Frau hat beispielsweise gelernt, mit einem PC umzugehen, und hat dadurch mehr Kontakt zu ihren Enkelkindern, die weit weg wohnen, sie fühlt sich mehr gebraucht. Ein älterer Mann besuchte einen Fremdsprachenkurs, hatte mehr Kontakt mit Menschen (anderen Kursteilnehmenden), begann mehr in einer Fremdsprache zu lesen und entdeckte neue Reisemöglichkeiten. In der Tat kann sich im Leben der Zielgruppe viel ändern und es ist wichtig, diese Veränderungen festzuhalten. Die Frage ist, wie man dies sinnvoll angeht. Es gibt recht viele Instrumente und es ist wichtig, auch hier gemeinsam mit den Zielgruppenvertreter*innen eine Auswahl zu treffen.
Der letzte Stufe 7 bezieht sich auf die gesamte Zielgruppe: wenn die erwünschten Veränderungen so viele Menschen betreffen, dass man etwa die heutigen älteren Menschen glücklicher als die früheren Generationen nennen kann. Es müssen sich also die Lebensqualität und der Lebensstil verändern und die Menschen darüber glücklich sein, was geschehen ist, unter anderem dank der Intervention Ihrer Organisation, sowie zufrieden mit ihrem jetzigen Leben.
Man kann nicht alle Stufen schnell durchlaufen, der Prozess kann viele Jahre dauern. Die meisten Organisationen werden ja auch nicht für einen kurzen Zeitraum gegründet, nicht für ein einziges Projekt, sondern um die Probleme ihrer Zielgruppen auf Dauer zu lösen. In vielen Ländern versuchen zivilgesellschaftliche Akteure deswegen, ihre Arbeit zu strukturieren und ihre Zielgruppe dauernd zu begleiten, um ihre Wirkung messen zu können.
Wie kann man nun Veränderungen messen? Einige Werkzeuge sind einfach: zählen, festhalten, beobachten. Sie können auch andere Möglichkeiten nutzen wie Fragebögen, Interviews, Gespräche mit Mitgliedern sozialer Gruppen und Verwandten. Auch Aussagen von anerkannten Expert*innen, Ergebnisse von Erhebungen und Umfragen oder Kontrollstudien, statistische Informationen können als Nachweis dienen.
In jeder Phase können Fragen auftauchen wie: wie wichtig ist das beobachtbare Phänomen, wer profitiert davon, wie können Sie Ihren Beitrag und den anderer Organisationen, die in demselben Bereich arbeiten, auseinander halten? Um die eigene Wirkung objektiv beurteilen zu können, muss man ehrlich die Frage beantworten, wie wahrscheinlich es ist, dass sich eine konkrete Tatsache/Veränderung auf Ihre Aktivität zurückgeht, und wie wahrscheinlich es ist, dass diese Veränderung auch ohne Ihr Zutun eingetreten wäre.
Wichtig ist hier, dass man sich immer auf Fakten stützt und seine Erfolge nicht überbewertet – die Versuchung besteht ja nicht nur bei NGOs. Es gilt, gegenüber dem eigenen Handeln stets kritisch zu bleiben und aufgeschlossen zu sein.
Das grundlegende Prinzip der Theorie des Wandels ist die Einbeziehung der Betroffenen in allen Phasen. In Bezug auf jede Stufe der Wirkungstreppe muss man ein klares Bild davon haben, was die Menschen brauchen. Ohne dies ist es unmöglich, echte Veränderungen zu erreichen. Engagiert man sich z. B. im Umweltschutz, dann sollte man Expert*innen und Personen, die in diesem Bereich tätig sind, einbeziehen und die Ziele gemeinsam mit ihnen festlegen. Es ist wichtig, sich darüber klar zu werden, wo man in 10, 20 Jahren sein möchte. Je klarer man das versteht, desto größer die Chancen, dass man genau diese Ergebnisse erzielen kann.