Die Vorlesung und die Übung vermitteln im Sinne einer grundlegenden Einführung in das Studium einen weitgreifenden Überblick über die theoretischen und methodologischen Grundlagen sowie die gesellschaftlichen Rahmenbedingen sozialwissenschaftlicher Evaluation.

Folgende Themenblöcke werden im Rahmen der Vorlesung behandelt:

• „Was ist Evaluation?“ – Eine Einführung in zentrale Begriffe und Konzepte
• Geschichte der Evaluation
• Ansätze der Evaluation im Überblick
• Komplementäre / Verwandte Ansätze: Qualitätsmanagement
• Theorie und Methodik von Wirkungsevaluationen
• Sozialer Kontext von Evaluationen und die Rolle von Evaluatoren
• Planung und Durchführung von Evaluationen
• Standards / Regelwerke

Die begleitende Übung dient einer vertiefenden und ergänzenden Auseinandersetzung mit den in der Vorlesung behandelten Inhalten, insbesondere mit den theoretischen Ansätzen der Evaluation, anhand der gemeinsamen Lektüre und Diskussion ausgewählter Texte sowie durch Gruppenarbeiten.

Evaluationsvorhaben sind dadurch gekennzeichnet, dass sie in der Regel in komplexe Handlungs- und Wirkungsstrukturen eingebettet sind, in welche eine Vielzahl unterschiedlicher Interessengruppen involviert ist.

Eine vollständige bzw. angemessene Berücksichtigung dieses Kontextes erfordert ein entsprechendes Hintergrundwissen seitens der Evaluierenden, welches es ihnen ermöglicht, sich in die Lage der verschiedenen an einer Evaluation beteiligten oder davon betroffenen Interessengruppen zu versetzen sowie die besonderen Strukturen des jeweiligen Wirkungsfeldes verstehen zu können. Hierzu zählen neben unter dem Begriff Fach- und Feldkompetenz zu fassenden Inhalten, wie z.B. fachspezifischem Grundlagenwissen und Kenntnissen bezüglich der in einem Praxisfeld bestehenden Strukturen und Rahmenbedingungen, insbesondere auch solche Inhalte, die generelle, unabhängig von spezifischen Anwendungsbereichen erforderliche Kompetenzen bezüglich der Analyse organisationaler (und in einem weiteren Sinne politisch-administrativer) Zusammenhänge umschreiben.

Neben einer rein analytischen Funktion kommt dabei den letztgenannten Inhalten auch eine unmittelbar handlungsbezogene Funktion im Hinblick auf den Umgang mit den an einer Evaluation beteiligten bzw. davon betroffenen Interessengruppen zu. Dies ist insbesondere dann der Fall, wenn letztendlich eine Beratung hinsichtlich der Nutzung von Evaluationsergebnissen erfolgen soll.

Vorlesung Organisationswissen

Die Studierenden sollen am Ende der Veranstaltung …

• relevante Organisationstheorien kennen,
• formale Strukturen von Organisationen beschreiben können und die Bedeutung informeller Strukturen kennen,
• Einflussgrößen formaler Organisationsstrukturen bewerten können,
• Prozesse organisatorischen Wandels erläutern können.

Im Rahmen der Veranstaltung werden

• Organisationen als korporative Akteure nach dem Modell der Ressourcenzusammenlegung vorgestellt,
• Organisationen nach dem Transaktionskostenansatz als Hierarchien und hybride Organisationen betrachtet,
• Basiselemente von Organisationen (Ziele, formale und informale Strukturen, Ressourcenausstattung, Umweltbeziehungen) diskutiert,
• verschiedene Organisationskonzeptionen (Organisationen als rationale Systeme nach den Bürokratiemodell Max Webers, als natürliche / soziale Systeme, als offene Systeme und lokale Ordnungen sowie als Mülleimermodell) erläutert.

Übung Qualitätsmanagement in Organisationen

Ziel der Übung ist es, den Studierenden ein fundiertes Grundwissen über Qualitätsmanagement im Allgemeinen und die Umsetzung dessen durch ausgewählte Managementsysteme zu vermitteln. Hierzu werden praxisnah Werkzeuge und Methoden vorgestellt, mit deren Hilfe die verschiedenen Prozesse innerhalb von Organisationen erkannt, übertragen, dokumentiert und bewertet werden können. Neben der Vermittlung relevanter Normen und Spezifikationen als Bewertungsgrundlage bildet der Vergleich zwischen (QM-)Auditierung und Evaluierung einen weiteren inhaltlichen Schwerpunkt der Übung.

In diesem Modul werden Grundlagen der Planung und Durchführung von Evaluationen vermittelt. Als zentrale bei einem Evaluationsvorhaben anfallende Aufgaben sind hierbei zu nennen:

• Entscheidung über die Durchführung einer Evaluation,
• Definition des Evaluationsproblems sowie Erstellung der ‚Terms of Reference',
• Planung der Evaluation,
• eigentliche Durchführung der Evaluation, d.h. Informationsgewinnung,
• Informationsauswertung und Berichterstattung zur Evaluationsstudie sowie
• Kontrolle der Evaluation.

Die Erarbeitung der genannten Inhalte erfolgt anhand der Vorstellung konkreter Praxisbeispiele sowie studienbegleitender Übungen. Wesentliche zu behandelnde konzeptionelle Problemstellungen sind dabei vor allem die Bestimmung des Evaluationsgegenstandes (Zielexplikation, Formulierung der Evaluationsfragestellungen etc.), die Erarbeitung eines Wirkungsmodells, die Entwicklung eines geeigneten Evaluationsdesigns sowie die Wahl zweckmäßiger Erhebungs- und Analysemethoden. Daneben geht es auf einer administrativ-technischen Ebene der Planung und Durchführung von Evaluationsprojekten um die Vermittlung von Kenntnissen des Projektmanagements und der dazugehörigen Methoden der Zeit-, Kosten- und Durchführungsplanung.

Thematisiert werden hierbei auch Fragen bezüglich der Ausgestaltung von Evaluationsverträgen und der generellen Steuerung einer Evaluation sowie Entscheidungen über die personelle Ressourcenausstattung einer Evaluation. Ein dritter relevanter Themenbereich der Veranstaltung betrifft schließlich den Umgang mit den verschiedenen an Evaluationsprojekten beteiligten bzw. davon betroffenen Interessengruppen, wobei insbesondere Fragen der Auftragsklärung sowie der Berichterstattung und letztendlichen Nutzung der Evaluationsergebnisse zu behandeln sind. In diesem Zusammenhang erfolgt auch eine grundlegende Diskussion gesellschaftlicher und institutioneller Kontextbedingungen von Evaluation.

Evaluatoren sollten über umfassende Kenntnisse aus dem gesamten Bereich der empirischen Sozialforschung (quantitative und qualitative Verfahren) verfügen, um die sich ihnen in der Praxis stellenden Fragestellungen angemessen einschätzen und bearbeiten zu können. Im Modul Methodenkompetenz werden wesentliche für Evaluationsfragestellungen relevante Untersuchungsdesigns und Verfahren der Datenerhebung und -auswertung im Praxiskontext behandelt.

Von zentraler Bedeutung ist in diesem Zusammenhang die Vermittlung eines grundlegenden Methodenbewusstseins hinsichtlich der Möglichkeiten und Grenzen empirischer Sozialforschung sowie der Stärken und Schwächen verschiedener Ansätze und Methoden. Hierbei sollen auch die sich bei Evaluationsvorhaben nahezu zwangsläufig ergebenden Konflikte zwischen allgemeinen wissenschaftlichen Gütekriterien und konkreten Erfordernissen der Praxis thematisiert werden.

Die Studierenden sollen in die Lage versetzt werden, einzelne Verfahren reflektiert anzuwenden und Befunde theoriegeleitet zu interpretieren. Dabei sollen insbesondere auch solche Techniken bzw. Verfahren behandelt werden, die nicht unbedingt im Rahmen allgemeiner sozialwissenschaftlicher Methodenkurse vermittelt werden.

Das Modul gliedert sich dabei in vier Einheiten:

• qualitative Datenerhebungsmethoden in der Evaluation
• quantitative Datenerhebungsmethoden in der Evaluation
• qualitative Auswertungsverfahren für Evaluationen
• quantitative Auswertungsverfahren für Evaluationen

• Moderation,
• Verhandlungsführung und Mediation,
• Reporting