Evaluation
Evaluation in Kultur- und Bildungspolitik
Evaluation ist ein Trend, der zunehmend Einzug in die kultur- und bildungspolitischen Bereiche erhält. Auch im Bibliothekssektor wird eifrig zu der Thematik publiziert und neue Instrumente zur Wirkungsmessung werden konzipiert.
In der Wissenschaft wird in diesen Zusammenhang bereits spöttisch von Evaluitis gesprochen. Die Skepsis ist nicht unbegründet, gerade die Wirkung von Maßnahmen dieser Bereiche kann nie vollkommen und absolut objektiv erfasst werden.
Sollte man deshalb bewusst auf eine Evaluation verzichten?
Es gibt einige Argumente, die dafür sprechen, Instrumente des Qualitäts¬managements zur Evaluation von Projekten einzusetzen.
Zum einen ermöglicht eine Erfolgsmessung eine deutlich bessere Erfolgsdarstellung, egal ob gegenüber dem Geldgeber oder der Öffentlichkeit. Beispielweise kann eine monetäre Bewertung der Leistung eine gute Diskussionsgrundlage für die Schaffung oder angemessene Anerkennung der Arbeit einer Freiwilligenkoordinatorin ergeben.
Gleichzeitig können die Instrumente helfen, den Einsatz zu steuern. Die Evaluation bedarf einer intensiven Auseinandersetzung mit der zu untersuchenden Materie. Der Prozess der Evaluation ist damit immer gleichzeitig ein Prozess der Qualifizierung.
Eine Evaluation ist in verschiedenen Abstufungen und Ausprägungen möglich. Im Folgenden werden einige Möglichkeiten und Bausteine für die Evaluation von Freiwilligeneinsätzen in Bibliotheken dargestellt.
Allgemeine Evaluation eines Projektes
Es ist wichtig, sich in einem ersten Schritt darüber klar zu werden, wieso eine Evaluation erfolgen soll:
• soll sie der Außenwirkung dienen,
• soll sie als Entscheidungsgrundlage für den Erhalt oder Stopp eines bestimmten Einsatzfeldes der Freiwilligen fungieren,
• sollen Verbesserungspotentiale bei den Freiwilligeneinsätzen erkannt werden?
In einem weiteren Schritt müssen die Ziele, die mit dem Freiwilligeneinsatz verbunden sind, identifiziert werden. Dabei ist es ratsam, möglichst klare, pointierte Ziele zu benennen. Für diese Ziele können daraufhin Indikatoren festgelegt werden. Die Auswahl sollte sich auf wenige Indikatoren beschränken, die einen eindeutigen Bezug zu den formulierten Zielen vorweisen.
Die Bestimmung angemessener Indikatoren ist eine nicht zu unterschätzende Aufgabe. Um eine möglichst genaue Messung der Wirkung des freiwilligen Engagements zu erreichen, sollten neben quantitativen Daten auch qualitative Werte ermittelt werden. Um die Kosten der Evaluation in einem überschaubaren Rahmen zu halten, empfiehlt sich bei den quantitativen Daten eine Beschränkung auf Kennzahlen, die sowieso für die DBS erhoben werden.
Im Bereich der qualitativen Indikatoren bietet sich die Durchführung von Umfragen zur Wirkung der Einsätze bei den verschiedenen Interessengruppen an.
Ein Beispiel ist hier die Fragebogenaktion der BürgerStiftung Hamburg, die für die Evaluation von LesepatInnen entwickelt wurde. Das dazugehörige Infoblatt können Sie mit freundlicher Genehmigung der BürgerStiftung Hamburg hier herunterladen:
(siehe Onlineausgabe)
Sind Ziele und Indikatoren bestimmt, sollte die Evaluierung in standardisierter Form und regelmäßigen Abständen durchgeführt werden, um Entwicklungen und Veränderungen frühzeitig entdecken und dokumentieren zu können.
Ob die Ergebnisse der Evaluation für eine öffentliche Präsentation genutzt werden, hängt von dem zu Beginn festgelegten Zweck ab. Dient sie der internen Steuerung, würden Publikationsabsichten notwendige Faktoren wie Vertrauen und Transparenz behindern.
Befragung der Freiwilligen
Neben einer Evaluation der durch Freiwillige betreuten Konzepte ist ein Feedback der involvierten Freiwilligen höchst interessant. Häufig werden Problembereiche nicht offen verbalisiert, eine regelmäßige Befragung der Freiwilligen hilft, die Zufriedenheit mit dem Einsatz zu gewährleisten. Damit muss kein großer Aufwand verbunden sein. Ein Fragebogen könnte die folgenden Fragen umfassen:
• Wie zufrieden sind Sie mit Ihrer freiwilligen Tätigkeit? (z. B. Skalenpfeil von 1 bis 5)
• Was gefällt Ihnen gut an Ihrer Tätigkeit?
• Was gefällt Ihnen überhaupt nicht?
• Welche Verbesserungen wünschen Sie sich?
Die Ergebnisse der Befragung sollten dokumentiert und ausgewertet werden, Vorschläge und Ideen der Freiwilligen thematisiert und diskutiert. Neben einem Instrument zur Steuerung des Einsatzes dient die Befragung auch als Form der Anerkennung. Die Freiwilligen sind es der Bibliothek wert, dass sie sich mit Ihnen intensiv beschäftigt, sie werden gehört, ihre Ideen berücksichtigt.
Monetäre Bewertung
Analog zur Leistung von Bibliotheken im Allgemeinen lässt sich auch die Leistung, die durch den Einsatz Freiwilliger entsteht, nicht 1:1 mit monetären Größen darstellen. Trotzdem ist es sinnvoll - gerade wenn es um die Rechtfertigung des Einsatzes geht - eine monetäre Bewertung vorzunehmen, da diese Größen für den Träger oder andere Externe zumeist besser verständlich sind und sich außerdem relativ schnell ermitteln lassen. Dabei gibt es verschiedene Ansätze:
• Der Lohnsatz externer Expertinnen wird herangezogen. Es ist festzustellen, mit welchem Berufsbild das freiwillige Engagement zu vergleichen ist (Bibliothekarinnen, Pädagoginnen, Erzieherinnen, Sozialarbeiterinnen...). Um dem Schulungsbedarf freiwilliger Kräfte gerecht zu werden, sollte ein Einarbeitsfaktor eingesetzt werden, der von dem Lohnsatz abgezogen wird. Die Universität Regensburg hat in einer Studie einen durchschnittlichen Faktor von 10% ermittelt, der auch für Freiwilligenarbeit in Bibliotheken als angemessen erscheint. Dieser verringerte Lohnsatz muss dann noch in Beziehung zur durchschnittlichen Stundenzahl der Freiwilligen gesetzt werden.
• Opportunitätskosten: Bei diesem Ansatz werden die Kosten, die den Freiwilligen dadurch entstehen, dass sie Zeit spenden, in der sie auch bezahlter Arbeit hätte nachgehen können, erfasst. Die Höhe der Kosten ist damit abhängig von den Berufen, den die Freiwilligen neben ihrem Engagement ausüben bzw. für den sie ausgebildet sind.
• Standardwerte: Am einfachsten zu berechnen ist der Input, den Freiwillige liefern, wenn man einen Standard-Stundenlohn zugrunde legt. Das Zentrum Aktiver Bürger in Nürnberg rechnet beispielsweise mit 10 Euro pro Stunde und beruft sich dabei auf zahlreiche EU-Projekte, die ebenfalls 10 Euro für einfache ehrenamtliche Tätigkeiten als Kofinanzierungsanteil anerkennen. Die Universität Regensburg arbeitet mit Werten zwischen 8 und 12 Euro pro Stunde, abhängig vom Grad der Qualifizierung, der für die Arbeit erforderlich ist.
Kostenrechnung
Die Ermittlung der verursachten Kosten ist ein möglicher Bestandteil der Evaluation. Vor allem wenn eine Überprüfung des Einsatzes hinsichtlich seiner Legitimation oder die Rechtfertigung der Stelle einer Freiwilligenkoordinatorin erfolgen soll, müssen Kosten und Nutzen einander gegenüber gestellt werden. Die Befragung unter den Bibliotheken in NRW ergab, dass eine systematische Erfassung der durch den Einsatz verursachten Kosten bisher nicht stattfindet. Der zeitliche Aufwand für die verantwortliche Mitarbeiterin wird mit durchschnittlich 3,13 Wochenstunden beziffert. Der Wert ist allerdings stark von der Größe des Einsatzes abhängig und kann nicht als Richtlinie gelten. Zumindest diese Arbeitsstunden sollten bei jedem Freiwilligeneinsatz erfasst und auch dem Projekt zugerechnet werden. Weiterhin wäre eine Aufschlüsselung weiterer Fixkosten, die mit verursacht werden, sinnvoll.
Die Ausgestaltung der Kostenrechnung ist dabei abhängig vom Aufgabenbereich der Freiwilligen. Je stärker der Einsatz in die Arbeit der Bibliothek integriert ist, desto interessanter wird eine Aufschlüsselung der Kosten.
Bei einem sehr selbständig agierenden Freiwilligenprojekt, bei dem (neben einem sehr geringen Zeitaufwand für die Bibliotheksleitung) nur die für den Einsatz verantwortlichen Bibliotheksmitarbeiterinnen einbezogen sind, reicht eine Aufstellung des Zeitaufwandes dieser Mitarbeiterinnen vollkommen aus.
Komplizierter wird es, wenn beispielsweise die Kosten einer Zweigstellenbetreuung beziffert werden sollen. Dies ist nur sinnvoll, wenn in der Bibliothek bereits eine betriebswirtschaftliche Kosten- und Leistungsrechnung (KLR) inklusive Kostenarten-, Kostenstellen- und Kostenträgerrechnung existiert. Hier sollte die Zweigstelle als eigene Kostenstelle in der KLR aufgeführt werden und der Zeitaufwand verschiedener Produktbereiche wie Erwerbung, Katalogisierung und Medienbearbeitung aufgeschlüsselt werden. Hilfreich ist die Betrachtung einer realen Situation. Die Städtischen Bibliotheken Dresden haben beispielsweise eine Dokumentation über die Implementierung der KLR erstellt, diese finden sie unter: www.public-libraries.net/html/business_tools.html.
Wenn der Freiwilligeneinsatz in einer Zwischenform dieser beider Extreme in geringem Umfang die Mitarbeit weiteren Bibliothekspersonals bedarf, kann dieser auch über Interviews oder Fragebögen erfasst werden.
Erfolgsfaktoren
Was zeichnet einen erfolgreichen Freiwilligeneinsatz aus? Durch die Auswertung von Freiwilligeneinsätzen lassen sich Bedingungen bestimmen, die einen gelungenen Einsatz unterstützen.
• Aspekte der Kommunikation
• Unterstützung der Gruppenbildung der Freiwilligen: Wenn die Freiwilligen sich als Teil einer Gruppe empfinden und miteinander kommunizieren, wirkt sich dies positiv auf die Verlässlichkeit und Dauerhaftigkeit des Engagements aus.
• Erfahrungsaustausch mit den Hauptamtlichen: Zum einen ist es hilfreich, wenn beide Gruppen sich persönlich kennen, um so potentielle Ängste und Vorurteile ausräumen zu können bzw. die Hemmungen, Probleme anzusprechen, abbauen zu können. Zum anderen kann der Gefahr entgegnet werden, dass autark arbeitende Freiwillige Arbeitsweisen entwickeln, die konträr zur Bibliotheksphilosophie stehen.
• Das offene Ohr: Freiwillige brauchen Aufmerksamkeit. Sie stellen ihre Arbeitskraft umsonst zur Verfügung und wollen diesen Einsatz auch geschätzt wissen. Nehmen Sie sich Zeit für ihre Ideen, Sorgen und Anmerkungen. Dies ist eine Form der Anerkennung, die für Freiwillige eine hohe Bedeutung hat.
• Kooperation mit anderen Einrichtungen: Für die Einsätze Freiwilliger in Bibliotheken gibt es eine Reihe von Partnern, die sich für eine Kooperation anbieten, um so den Aufwand seitens der Bibliothek in Grenzen zu halten. Beispiele sind Freiwilligenagenturen und andere kommunale Einrichtungen des bürgerschaftlichen Engagements, Kindergärten und Schulen, Museen und Fördervereine. Ebenfalls interessant sind Kooperationen mit Vereinen und Selbsthilfegruppen, um bei zielgruppenspezifischen Freiwilligeneinsätzen einen kompetenten und verlässlichen Partner an der Seite zu haben.
• Rückhalt der Verwaltung/Politik: Die Praxis zeigt, dass der Einsatz von Freiwilligen dort besonders erfolgreich verläuft, wo das bürgerschaftliche Engagement durch kommunale Strukturen gefördert wird.
Problemfelder
Im Allgemeinen werden für den Bereich der Freiwilligenarbeit vier Problemfelder benannt:
• Kooperation
• Spannungsfeld der gegenseitigen Erwartungen
• Verlässlichkeit/Verbindlichkeit
• Qualität der Arbeit
Durch die Befragung der nordrhein-westfälischen Öffentlichen Bibliotheken lassen sich die Probleme im Bibliothekssektor spezifizieren:
• Dank und Anerkennung,
• Kontinuität der Aufgabenwahrnehmung,
• Überschätzung der eigenen Kenntnisse und Fähigkeiten,
• falsche Einschätzung der notwendigen Qualifikationen und Kompetenzen, Fehleinschätzung der Aufgaben und Zielfelder einer modernen öffentlichen Bibliothek,
• Probleme bei der Übernahme bestimmter Arbeitsfelder durch Freiwillige (Kernaufgaben der Bibliothek, Pressearbeit, zusätzliche Veranstaltungen für Kinder, aufsuchender Bibliotheksdienst),
• Zuverlässigkeit, Arbeit kann nicht eingeklagt werden,
• Betreuung der Freiwilligen erfordert viel Einsatz der Hauptamtlichen,
• fehlende Professionalität, Fehlerquote,
• Problem, ungeeignete Kräfte "loszuwerden",
• Kommunikationsprobleme, Konkurrenz hauptamtliche Kräfte / Freiwillige,
• Außenwirkung= viel bzw. genug Personal in Bibliothek vorhanden,
• extrinsische Motivation,
• Mitarbeiterakzeptanz,
• häufiger Wechsel,
• Abgrenzung der Arbeitsbereiche,
• "kreative Ideen" jenseits von Fachlichkeit.
Literatur
• Feslmeier, Gerald; Massouh, Markus und Christian Schmid: Kosten-Nutzen-Analyse des Ehrenamtes am Beispiel der FreiwilligenAgentur Regensburg (FA-Rgbg). Regensburg 2004. http://www.freiwilligenagentur-regensburg.de/artikel/kosten-nutzen.html
• Gaskin, Katharine: Valuing volunteers in Europe: a comparative study of the Volunteer Investment and Value Audit. In: The Journal of the Institute for Volunteering Research. http://www.ivr.org.uk/valuingvolunteers.htm (Website wird zurzeit überarbeitet)
• http://www.buergerstiftung-hamburg.de/files/antragsformulare/ infoblatt_evaluation.pdf
• http://www.public-libraries.net/html/business_tools.html
• Mitschrift der Fachtagung "Evaluation als Grundlage und Instrument kulturpolitischer Steuerung" in der Bundesakademie für kulturelle Bildung, siehe: http://www.bundesakademie.de/kd.htm?kd_content.htm