Navigation und Service

22.03.2010

Monatsbericht

Per­for­man­zin­di­ka­to­ren als Grund­la­ge für die Eva­lu­ie­rung von För­der­pro­gram­men

  • Das Gutachten leistet einen Beitrag zur Verbesserung der methodischen Grundlagen einer systematischen Evaluierung beziehungsweise Erfolgskontrolle von Förderprogrammen.
  • Es wird eine schlüssige Systematik von Performanzindikatoren − d. h. von Input-, Output-, Ergebnis- und Wirkungsindikatoren − vorgeschlagen, die grundsätzlich für Förderprogramme in allen Politikfeldern anwendbar ist. Konkrete Indikatoren, Ziele und Wirkungszusammenhänge werden für die wichtigsten Förderprogrammgruppen in den Politikfeldern Innovationspolitik, Umwelt- und Energiepolitik, sektorale und regionale Strukturpolitik, Landwirtschaftspolitik sowie Wohnungs- und Städtebaupolitik vorgeschlagen.

  • Die Indikatorenvorschläge sind für konkrete Förderprogramme nutzbar, wobei Anpassungen an die spezifischen Anforderungen erforderlich sein können. Im Rahmen des Programm-Monitorings und bei Evaluationen können die Indikatorenvorschläge unterschiedliche Adressaten, Steuerungsziele und Auswertungsmethoden unterstützen.

1   Hintergrund

Die Nutzung von Indikatoren ist ein zentraler Bestandteil der Politik- und Verwaltungsmodernisierung, wie sie seit spätestens den 1980er Jahren international diskutiert wird. Eine Grundtendenz ist dabei die wachsende Bedeutung von Output-, Ergebnis- und Wirkungsgrößen gegenüber Inputgrößen für die Politik- und Verwaltungssteuerung. In diesem Zusammenhang werden Verfahren des Monitorings, Controllings, der Leistungsmessung und Wirkungsanalyse eingesetzt.

Generell gewinnen im Zuge dieser Reformtendenzen Indikatoren als Methode zur Beschaffung von Informationen an Bedeutung. Schließlich war es ein Kernbestandteil der Reformen, für Entscheidungs- und Steuerungsverfahren eine breitere Informationsbasis als bisher zu nutzen. Indikatoren sind als Informationsbeschaffungsinstrumente daher in einer modernen Verwaltung unverzichtbar. Dies gilt insbesondere für diejenigen Indikatoren, die Informationen über Ergebnisse und Wirkungen greifbar machen, die sich außerhalb von Politik und Verwaltung manifestieren. In diesem Sinne sind die hier vorgeschlagenen "Performanzindikatoren" ein wichtiger Beitrag zur Weiterentwicklung politisch-administrativer Steuerungs- und Entscheidungsverfahren.

Die hier vorgeschlagene Systematik von Indikatoren zielt auf eine Nutzung im Zusammenhang mit der Wirkungserfassung und Evaluierung von Förderpolitiken. Die Erarbeitung eines Vorschlages von Performanzindikatoren für wichtige Politikfelder der Bundespolitik kann darüber hinaus für mehrere aktuelle Reform- und Diskussionsprozesse auf Bundesebene wichtige Impulse geben. Kennzahlen und Indikatoren sind zentrale Elemente einer Erfolgskontrolle nach Bundeshaushaltsordnung (BHO), der ergebnisorientierten Haushaltsführung sowie der umfassenden Evaluierung. In diesem Sinne können die hier vorgeschlagenen Indikatoren insbesondere bei der konkreten Übertragung allgemeiner Reformkonzepte auf die einzelnen Fachpolitiken in den hier abgedeckten Politikfeldern eine Arbeitshilfe sein, wenn es um die Entwicklung von Kennziffernsystemen für die jeweils spezifische Nutzung geht.

2   Gegenstand des Gutachtens

Gegenstand des Gutachtens ist die Erarbeitung von Indikatorenvorschlägen für die Förderprogramme in finanzpolitisch wichtigen Politikfeldern. Folgende Politikfelder wurden, auch angesichts ihrer gesamtwirtschaftlichen Bedeutung, ausgewählt:

  • Innovationspolitik,

  • Sektorale und Regionale Strukturpolitik,

  • Umwelt- und Energiepolitik,

  • Landwirtschaftspolitik,

  • Wohnungs- und Städtebaupolitik.

Die Abgrenzung der Politikfelder erfolgt nach ihrer inneren Wirkungslogik und folgt somit nicht zwangsläufig dem Ressortzuschnitt. So umfasst beispielsweise die Innovationspolitik Förderprogramme aus dem Bundesministerium für Wirtschaft und Technologie sowie dem Bundesministerium für Bildung und Forschung. Die Performanzindikatoren sollen in der Lage sein, in den Politikfeldern als Grundlage für Evaluierungen, d. h. umfassendere Wirkungsanalysen, zu dienen.

Als Grundlage für die Erarbeitung der Indikatorenvorschläge wurde eine Systematik entwickelt, mit deren Hilfe die Indikatoren in einem einheitlichen Rahmen dargestellt und strukturiert werden. Die Basis ist die Darstellung von Wirkungszusammenhängen, auf denen aufbauend systematisch verschiedene Gruppen von Indikatoren gebildet werden können. Die Wirkungszusammenhänge werden sowohl auf der Ebene der Politikfelder als auch spezifischer Programmgruppen dargestellt. Programmgruppen stellen auf die zentralen Wirkungsaspekte von Förderprogrammen ab und fassen Programme mit ähnlicher Wirkungsausrichtung zusammen.

Die konkret erarbeiteten Indikatoren werden für jedes Politikfeld und jede Programmgruppe entsprechend der Kategorien von Input, Output, Ergebnis und Wirkung sortiert. Die einheitliche Strukturierung ermöglicht es, die jeweiligen Indikatoren systematisch für verschiedene Aspekte zu nutzen.

Ausgehend von den Wirkungsmodellen und konkreten Indikatoren werden verschiedene Anwendungsmöglichkeiten der Indikatoren aufgezeigt, beispielsweise im Zusammenhang mit der Wirtschaftlichkeitsuntersuchung und Erfolgskontrolle. Dabei legt die hier zugrundegelegte Systematik einen besonderen Schwerpunkt auf die Nutzbarkeit der Indikatoren im Rahmen von Wirkungsanalysen (Evaluierungen). Darüber hinaus werden auch weitere Nutzungsperspektiven, etwa im Rahmen von Zielerreichungskontrollen, Wirtschaftlichkeitskontrollen oder im Zuge der Wirtschaftlichkeitsuntersuchung in der Planungsphase aufgezeigt.

3   Ausgangslage und Problemstellung

Aktuell stellt sich im Bereich der betrachteten Politikfelder auf Bundesebene der Stand der Indikatorenentwicklung für Förderpolitiken uneinheitlich dar. Einerseits kann man davon ausgehen, dass bei der Formulierung von Förderprogrammen nicht systematisch auf die Definition überprüfbarer Ziele hinsichtlich der in Wirtschaft und Gesellschaft durch das jeweilige Programm angestrebten Ergebnisse und Wirkungen geachtet wird. Andererseits ist festzustellen, dass Informationen aus der Umsetzung häufig, wenn auch nicht immer, strukturiert erhoben und ausgewertet werden. Im Vordergrund steht aber zumeist die Beobachtung der finanziellen Umsetzung, wohingegen Informationen über die Ergebnisse und Wirkungen eine relativ geringere Rolle spielen. Wo sie erhoben werden, werden sie häufig eher von den mit der Umsetzung der Programme beauftragten nachgeordneten Behörden oder Dienstleistern ausgewertet als von den programmverantwortlichen Stellen der Fachressorts. Eine Rückkopplung in den Bereich der Politikformulierung scheint eher die Ausnahme als die Regel und erfolgt eher einzelfallbezogen als systematisch. Die Erhebungen beschränken sich in aller Regel auf Informationen, die im Verlauf der Förderverfahren gewonnen werden. Für die Durchführung von Evaluierungen sind innerhalb der Bundesregierung erhebliche Unterschiede festzustellen. Teils werden Wirkungsanalysen in den Fachpolitiken bereits regelmäßig durchgeführt, teils noch eher in Ausnahmefällen. Auch bezüglich der eingesetzten Methoden unterscheiden sich die Ressorts spürbar. Die Indikatorendefinition ist daher in den Politikfeldern auch unterschiedlich.

Ohne eine systematische Erhebung des Ist-Standes im Rahmen des Projektes vorgenommen zu haben, stellt sich die Situation aber durchaus so dar, dass Performanzindikatoren, die Ergebnisse und Wirkungen der Förderpolitiken abbilden können, in allen Politikfeldern bereits zum Einsatz kommen. Ihre Einbindung in ein explizit formuliertes Zielsystem, ihre Nutzung im Rahmen von Wirkungsanalysen (Evaluierungen), die Art der Erhebung und Auswertung variieren aber erheblich zwischen den Politikfeldern.

Auch wenn somit insgesamt die ergebnisorientierte Politikgestaltung in Deutschland auf Bundesebene sicherlich weniger weit entwickelt ist als in einigen Bundesländern und in anderen Staaten, gibt es bereits vielfältige Erfahrungen mit der Entwicklung von Indikatoren, der Zieldefinition und der Effizienz- und Wirkungsanalyse (Evaluierung), auf die zur Weiterentwicklung zurückgegriffen werden kann. Die im Gutachten vorgestellte wirkungsmodellbasierte Indikatorensystematik möchte zu dieser Entwicklung beitragen. Exemplarisch werden relevante Indikatoren auf Ebene von Förderprogrammgruppen vorgeschlagen. Von daher bedürfen die Indikatorenvorschläge stets der Anpassung und Konkretisierung in Bezug auf die Ziele und Ausgestaltung spezifischer Förderprogramme. Hinsichtlich der Wirkungserfassung sind außerdem Unterschiede zwischen Brutto- und Nettoeffekten, unter Umständen längere Wirkungsketten sowie gegebenenfalls komplexe Interdependenzen in den Wirkungsbeziehungen zu berücksichtigen. Auch wenn sie allein für eine Wirkungsanalyse nicht hinreichen, sind geeignete Indikatoren Kernbestandteil aller Evaluierungsansätze. Für die fünf ausgewählten Politikfelder wurden aufbauend auf den jeweiligen Wirkungsmodellen in Auswertung der bisherigen nationalen und internationalen Erfahrungen Performanzindikatoren als Grundlage für die Evaluierung benannt.

4   Wirkungsmodellbasierte Indikatorensystematik

Die Indikatoren werden für die Politikfelder im Rahmen einer einheitlichen Systematik dargestellt. Der Grundgedanke ist, dass die Indikatoren Wirkungszusammenhänge der Förderung abbilden. Dabei werden die Wirkungszusammenhänge in Wirkungsmodellen dargestellt, aus denen dann die Indikatoren abgeleitet werden. Ausgehend von einem gewissen Input wird im Rahmen der im jeweiligen Förderprogramm umgesetzten Maßnahmen zunächst ein Output produziert. Von diesem Output, der meist die unmittelbaren Effekte der einzelnen Projekte umfasst, werden weitere Ergebnisse und Wirkungen angestoßen. Dabei liegt die Unterscheidung zwischen Ergebnissen und Wirkungen zum einen in zeitlicher Hinsicht – die Wirkungen sind erst längerfristig sichtbar –, zum anderen liegen sie häufig auch auf einer aggregierten Ebene „oberhalb“ der einzelnen Förderfälle (ein Sektor, eine Region, etc.).

Abbildung 1: Idealtypisches Wirkungsmodell eines Förderprogramms
Quelle:  Bundesministerium der Finanzen

Die Wirkungsketten stellen ausgehend von einer staatlichen Intervention die angestrebten Veränderungen in der Gesellschaft dar. Für die Förderpolitiken gilt, dass die Impulse der Politik grundsätzlich über monetäre Anreize vermittelt werden. Die im Weiteren dargestellten Wirkungsketten bauen im Wesentlichen auf der hier grob umrissenen Abfolge von Ereignissen auf:

  1. Der Staat adressiert an bestimmte Zielgruppen unter bestimmten Bedingungen einen monetären Anreiz.

  2. Die Adressaten der Förderung reagieren auf die Anreize, indem sie ihr Verhalten ändern: So können etwa durch Investitionszuschüsse die Kapitalkosten so reduziert werden, dass Investitionen getätigt werden, die ohne Zuschuss nicht vorgenommen worden wären. Die Verhaltensänderungen der einzelnen Adressaten stehen am Anfang einer Abfolge von Effekten, die durch die Förderung angestoßen werden. Auf Ebene der einzelnen Adressaten können Output und Ergebnis der Förderung, wie beispielsweise Investitionen oder Energieeinsparungen festgestellt werden.
  3. Zumeist setzt Förderpolitik aber nicht nur auf die Nachfrageeffekte. Vielmehr wird auch angestrebt, die Funktionsbedingungen in Teilbereichen der Gesellschaft zu verändern: So will die Investitionsförderung auch dazu beitragen, Strukturwandel zu unterstützen und die Produktivität der Wirtschaft zu fördern. Schließlich stehen am Ende der Ketten häufig gesamtgesellschaftliche Wirkungen wie Wachstum, Beschäftigung oder nachhaltige Entwicklung, die natürlich von den Effekten eines einzelnen Programms nicht vollständig determiniert sind.

Die Zusammenhänge können wie in Abbildung 2 grafisch in einem Wirkungsmodell zusammenfassend dargestellt werden:

Abbildung 2: Wirkungsmodell - Grundstruktur
Quelle:  Bundesministerium der Finanzen

Das Wirkungsmodell gibt idealtypischerweise Auskunft über die Art der Verbindung zwischen den verschiedenen Wirkungsdimensionen und benennt die mit der Förderung jeweils zu erreichenden Veränderungen. Durch den Bezug auf ein Wirkungsmodell stellen die Performanzindikatoren auch auf die Kausalität zwischen Intervention, Verhaltensänderung, Veränderung der Funktionsbedingungen von Teilsystemen und gesamtgesellschaftlichen Effekten ab. Da die Kausalbeziehungen jedoch nicht unmittelbar abgebildet werden, können mit Indikatoren alleine keine belastbaren Aussagen über tatsächlich erzielte und kausal einem Förderprogramm zuzurechnende Wirkungen gemacht werden. Hierzu sind vertiefende Analysen mit aufwendigeren Methoden erforderlich, was methodisch strenggenommen die Untersuchung einer nicht-geförderten Vergleichsgruppe mit einschließt. Durch die Rückbindung an ein Wirkungsmodell werden die Performanzindikatoren aber anschlussfähig an derartige vertiefende Wirkungsanalysen.

5   Performanzindikatoren – Überblick

Im Gutachten werden für die einzelnen Programmgruppen innerhalb der fünf ausgewählten Politikfelder jeweils Performanzindikatoren dargestellt, d. h. Input-, Output-, Ergebnis- und Wirkungsindikatoren:

Auf Ebene des Inputs wird die Umsetzung der Förderung anhand des Finanzvolumens der Fördermittel abgebildet. Dabei sollten, sofern relevant, verschiedene Quellen der Fördermittel unterschieden werden.

Auf Ebene des Outputs stehen die ersten Effekte der Förderung wie z. B. die Anzahl der unterstützten Projekte oder das geförderte Investitionsvolumen. Oft beschränken sich die Outputindikatoren auf derartige finanzielle Größen oder Anzahlen. Ergänzend werden gelegentlich noch die gesamten mit der Förderung verbundenen Investitionen als Indikator vorgeschlagen. Neben der Anzahl der Förderfälle kann außerdem noch die Zahl der begünstigten Akteure (etwa Unternehmen) erfasst werden. Diese Größe kann wiederum nach strukturellen Merkmalen aufgeschlüsselt werden (etwa nach Branchen). Wo ein Förderprogramm eine differenzierte Binnenstruktur aufweist und unterschiedliche Arten von Projekten fördern kann, ist außerdem die Verteilung der Förderfälle wie auch der Fördermittel auf diese verschiedenen Kategorien von Interesse (etwa die Aufschlüsselung nach Art der Infrastruktur, Gewerbefläche usw.).

Ebenfalls in die Kategorie Output fallen die unmittelbar bei Projektende messbaren materiellen Ergebnisse. Der konkrete Indikator ist abhängig von der Art des Projektes. Beispiele für diese Art von Indikatoren können sein: die Zahl der geförderten Unternehmen oder das Volumen der geförderten Projekte im Bereich Forschung und Entwicklung (FuE).

Als Ergebnisindikatoren werden vor allem Größen eingesetzt, die beim jeweiligen Begünstigten die infolge des Outputs eintretenden Effekte abbilden. Sofern sich die Förderung beispielsweise auf Unternehmen bezieht, können die getätigten Investitionen als Ergebnisindikator dienen. Ergebnisse der FuE-Förderung können etwa im Fall von unternehmensbezogener Förderung mit den FuE-Aufwendungen, im Fall von Forschungseinrichtungen mit der Anzahl der angemeldeten Patente erfasst werden. Für die Förderung von Investitionen in Unternehmen kann das Investitionsvolumen ein geeigneter Ergebnisindikator sein.

Auf Ebene der Wirkungen stehen vorrangig Indikatoren, die sich entweder vom einzelnen Förderfall lösen und Informationen auf Meso- oder Makroebene abgreifen, oder auf Ebene des Förderfalls sinnvoll erst mit Zeitverzug erfasst werden können. Typische Beispiele für Meso- oder Makroindikatoren sind: zusätzliche Investitionen, Zunahme der sektoralen Wertschöpfung. Auf Ebene des einzelnen Förderfalls messbar sind z. B.: Anteil neuer Produkte/Verfahren am Umsatz, einzelbetriebliche Produktivitätssteigerung, Überlebensrate von Neugründungen.

Für alle Performanzindikatoren gilt gleichermaßen, dass sie nur die Bruttoeffekte abbilden können. Jede der genannten Wirkungsgrößen - und auch bereits etliche der Output- oder Ergebnisindikatoren - werden außer durch die Förderung durch eine Reihe weiterer Faktoren beeinflusst. Es dürfen also mit derartigen Indikatoren gemessene Ergebnisse nicht ausschließlich den Programmen zugeschrieben werden. In aller Regel sind außerdem Veränderungen derartiger Größen durch die Interventionen auch erst mit Zeitverzug nach Abschluss der Förderung zu erwarten. Die Tabelle 1 gibt einen Überblick über die zentralen Indikatoren auf Ebene der Politikfelder.

Tabelle 1: Zentrale Performanzindikatoren für die Politikfelder

Input

Output

Ergebnis

Wirkung

Innovationspolitik

Fördermittel (in €), unterschieden nach Finanzierungsquelle (EU, Bund, Land, Kommune, sonstige) Volumen der FuE-Projekte (in €) FuE-Aufwendungen (in €), unterschieden nach Aufwendungen der Unternehmen und öffentlichen Aufwendungen Anteil forschungsintensiver Branchen am BIP (Prozent)
Geförderte Vorhaben (Anzahl) FuE-Personal (in Vollzeitäquivalenten) Anteil der Umsätze mit neuen Produkten/Verfahren am Gesamtumsatz (Prozent)
FuE-Personal im Projekt (Vollzeitäquivalent) Veröffentlichungen/Zitationen (Anzahl)
Patentanmeldungen (Anzahl)
Ausgründungen aus Forschungseinrichtungen (Anzahl)
Existenzgründungen in technologieintensiven Bereichen (Anzahl)

Umwelt- und Energiepolitik

Fördermittel (in €) unterschieden nach Finanzierungsquellen (EU, Bund, Land, Kommune) Förderfälle (Anzahl), ggf. untergliedert nach Fördermaßnahme, Energieträger, Adressatengruppe Eingesparte Energie (in kWh/a) Anteil der erneuerbaren Energie an der gesamten Strom- und Wärmeversorgung (Prozent)
Volumen der ausgelösten Investitionen (in €) Strom- und Wärmeerzeugungskapazitäten aus erneuerbarer Energie (in kWh/a) CO2-Minderung: jährliche CO2-Vermeidung (CO2 und CO2-Äquivalente) (in t/a)
Fördereffizienz: Energieeinsparung über Lebensdauer der geförderten In­vestition/Fördersumme, energiebezogen (kWh/€) oder CO2-bezogen (CO2 und CO2-Äquivalente) (t/€)

Sektorale und Regionale Strukturpolitik

Fördermittel (in €), unterschieden nach Finanzierungsquellen (EU, Bund, Land, Kommune) Zahl der Beratungen im Bereich der KMU-Förderung Private Investitionen Zusätzliche Beschäftigung
Zahl der geförderten Projekte/Unternehmen Gesamtes Investitionsvolumen Zusätzliche Wertschöpfung
Materielle Ergebnisse der Infrastrukturförderung Verbesserungen der Produktivität
Anteil der öffentlichen Mittel am Umsatz des unterstützten Sektors

Landwirtschaftspolitik

Fördermittel (in €), unterschieden nach Finanzierungsquellen (EU, Bund, Land, Kommune) Anzahl der Förderfälle Private Investitionen Zusätzliche Beschäftigung
Anzahl der geförderten Unternehmen und Einrichtungen Öffentliche Investitionen Verbesserungen der Produktivität
Anzahl der Teilnehmer Materielle Ergebnisse der Infrastrukturförderung Bevölkerungsstruktur/Altersstruktur
Anzahl der spezifisch subventionierten Leistungen (Beratung, FuE-Pro­jekte, Produkteinführung usw.)
Umweltorientierte Flächenindikatoren
Wohnungs- und Städtebaupolitik
Fördermittel (in €) nach Finanzierungsquelle (EU, Bund, Land, Kommunen sonstige) Zahl der mit der Förderung erreichten Wohnungen (differenziert nach Neubau und Bestand) Ausstattungs- und Modernisierungsgrad der geförderten Objekte auf Ebene der Wohnungsmärkte:
private Mittel (in €) Miete bzw. Wohnkosten der betroffenen Haushalte (in €) Verhältnis von Wohnungsangebot und Wohnungsnachfrage
Gesamtkosten (in €) Anteil der Wohnungen mit modernem Bad, WC
Höhe der Mieten, Höhe der Wohnkostenbelastung
Eigentumsquote
Fördermittel (in €) nach Finanzierungsquelle (Bund, Land, Kommunen, EU, sonstige) Zahl der wiederhergestellten Gebäude mit historischer Bedeutung Kennzahlen zur wirtschaftlichen Situation der Eigentümer (z. B. Jahresergebnis aus der Immobilie, Eigenmittelrentabilität) quantitative Indikatoren (Gebiet und Gesamtstadt)
Private Mittel (in €) Zahl der (sonstigen) sanierten Wohngebäude Einwohnerzahl
Zahl der der von Wiederherstellung bzw. der Sanierung von Wohngebäuden betroffenen Wohnungen Zahl der Zu- und Fortzüge
Fläche des aufgewerteten bzw. neu geschaffenen Wohnumfelds und öffentlichen Raums Zahl der Beschäftigten
Fläche der einer Wiedernutzung zugeführten Brachen Zahl der Arbeitslosen und Anteil an der Bevölkerung
Zahl der neu gebauten oder modernisierten Einrichtungen der sozialen Infrastruktur Zahl der Wohnungen
Zahl der rückgebauten Wohnungen Zahl der Wohnungsleerstände und Leerstandsquote
Zahl der angepassten oder rückgebauten Infrastruktureinrichtungen qualitative Indikatoren (aus Bewohnerbefragungen, bezogen auf Gebiet, ggf. auch Gesamtstadt)
Zahl der geförderten nicht-investiven Maßnahmen (Stadtteil-/Quartiersmanagement, Bürgermitwirkung usw.) Einschätzung der Lage und der Veränderungen im Gebiet
Bewertung der städtebaulichen Qualität

Diese Indikatoren sind vor dem Hintergrund der in den Wirkungsketten dargestellten Zusammenhänge für das jeweilige Politikfeld von besonderer Bedeutung. Für die Anwendung im Rahmen konkreter Instrumente müssen diese Indikatoren angepasst und um weitere spezifische ergänzt werden. Unterhalb der Ebene der Politikfelder werden im Gutachten auch Indikatoren für die wichtigsten Programmgruppen präsentiert.

6   Ausblick

Die im Gutachten vorgestellten Performanzindikatoren können die gesamtwirtschaftlichen Wirtschaftlichkeitsuntersuchungen beziehungsweise Erfolgskontrollen für Förderprogramme mit ihren Bestandteilen Zielerreichungs-, Wirkungs- und Wirtschaftlichkeitskontrolle unterstützen und somit zur Umsetzung der Vorgaben der Bundeshaushaltsordnung (BHO) sowie der Allgemeinen Verwaltungsvorschriften zur Bundeshaushaltsordnung (VV-BHO) beitragen.

Um von den vorgeschlagenen Performanzindikatoren ausgehend die Entwicklung von Systemen der Wirtschaftlichkeitsuntersuchung und Erfolgskontrolle im Sinne der BHO voranzutreiben, ist für jedes Förderprogramm eine Reihe vertiefender und konkretisierender Schritte erforderlich. Die folgenden Punkte machen deutlich, wie Wirtschaftlichkeitsuntersuchung in der Planungsphase, Zielerreichungskontrolle und Wirkungskontrolle ineinandergreifen und aufeinander aufbauen können und welchen Beitrag die hier präsentierte wirkungsmodellbasierte Indikatorensystematik leisten kann:

  1. Darstellung von Wirkungszusammenhängen: Das dem jeweiligen Förderprogramm, der Programmgruppe oder dem Politikfeld zugrundeliegende Wirkungsmodell sollte explizit dargestellt werden. Erst wenn die Annahmen über die Wirkung der Förderung offengelegt werden, können sie später erforderlichenfalls im Rahmen einer Wirkungskontrolle überprüft und hinterfragt werden.
  2. Die im Gutachten herangezogenen Wirkungsmodelle basieren auf wissenschaftlichen Erkenntnissen. Sie beziehen auch Zielformulierungen der jeweiligen Fachpolitiken mit ein. Dennoch ist nicht gewährleistet, dass die Wirkungsmodelle alle von den politischen Zielsetzungen her intendierten oder in der Förderpraxis zusätzlich integrierten Zielsetzungen und Beziehungen aufgreifen. Die im Gutachten dargestellten Wirkungsmodelle können somit eine Grundlage für die Erarbeitung und Offenlegung der Wirkungsmodelle der einzelnen Förderinstrumente, Programmgruppen oder Politikfelder sein, müssen aber auf die konkrete Anwendung hin angepasst werden. Es sollten die Wirkungsannahmen eines Förderprogramms bereits in der Planungsphase vor dem Hintergrund des aktuellen wissenschaftlichen Kenntnisstandes geprüft und gegebenenfalls hinterfragt werden.
  3. Formulierung von Zielen: Wenn die Annahmen über Wirkungsbeziehungen offengelegt sind, können die konkret mit dem jeweiligen Förderprogramm, der Programmgruppe oder dem Politikfeld angestrebten Ziele formuliert und wenn möglich quantifiziert werden. Die Zieldefinition und -quantifizierung schafft die Grundlage für die erste Stufe der Erfolgskontrolle nach § 7 BHO, die Zielerreichungskontrolle.
  4. Mit den Indikatoren, die auf der Grundlage von Wirkungsmodellen abgeleitet werden, wird auch eine Hilfestellung zur Formulierung von quantifizierten Zielen gegeben. Die Anforderungen an die Qualität von Zielformulierungen werden allerdings nicht dargestellt.
  5. Ableitung von Indikatoren: Aufbauend auf der expliziten Darlegung der angenommenen Wirkungsbeziehungen sowie der Zieldefinition können schließlich die für das jeweilige Programm, die Programmgruppe oder das Politikfeld geeigneten Indikatoren für die Abbildung von Input, Output, Ergebnissen und Wirkungen definiert werden. Die Indikatorendefinitionen müssen konkreter gefasst werden, als im Gutachten geschehen. Insbesondere müssen beispielsweise Fragen des Messzeitpunktes im Verhältnis zum Projektablauf geklärt werden.
  6. Mit den vorgeschlagenen Performanzindikatoren wird eine Grundlage für die Definition von Indikatoren gelegt. Eine Anpassung vor dem Hintergrund des letztlich von den zuständigen Akteuren erarbeiteten Wirkungsmodells sowie der Zieldefinitionen für ein konkretes Programm wird aber unerlässlich sein.
  7. Sicherstellung der Datenerfassung, -aufbereitung und -auswertung: Die Definition von Indikatoren allein ist nur die Grundlage für ein funktionierendes Begleitungs- und Bewertungssystem. Eine strukturierte und auf Qualitätssicherung ausgelegte Datenerhebung, die Erfassung der Daten in einer Form, die eine Aufbereitung und Auswertung erlaubt, sowie die Klärung der Frage, wie (etwa für welche Zeiträume, in welchen Abständen, für wen) ausgewertet werden soll, sind wichtige Aspekte dieses Schrittes.
  8. Erarbeitung eines Evaluierungskonzeptes: Neben diesen Grundlagen für eine effektive Wirkungskontrolle sollte auch geklärt werden, in welcher Form und zu welchem Zeitpunkt eine vertiefende Evaluierung erfolgen soll. Hierbei ist zu berücksichtigen, dass je nach Art der Förderung Wirkungen erst mit Zeitverzug sichtbar werden. Gleichzeitig sollte berücksichtigt werden, welche Entscheidungen über Fortführung und gegebenenfalls Änderung der Förderung anstehen. Evaluierungen können sinnvoll in Verbindung mit mittelfristigen Planungen, Haushaltsverfahren oder Politikreformen im Zusammenhang stehen.
  9. Steuerung des Evaluierungsprozesses: Nach der konzeptionellen Planung ist die Umsetzung des konkreten Evaluierungsprozesses die nächste Aufgabe. Es sollte geklärt werden, welche Akteure dabei beteiligt werden sollen. Die Einrichtung einer evaluierungsbegleitenden Lenkungsgruppe hat sich häufig als sinnvoll erwiesen. Schließlich fällt auch die nicht triviale technische Abwicklung des Evaluierungsprozesses − von der Ausschreibung bis zur Umsetzung der Ergebnisse − unter diese Aufgabe.
  10. Nutzung der Ergebnisse: Um Evaluierung fruchtbar zu machen, müssen die Ergebnisse für Lernprozesse und die Weiterentwicklung der Förderung genutzt werden. Konkrete Schlussfolgerungen mit unmittelbarer Konsequenz für die Förderung, mittelfristige Anpassungs- und Veränderungsperspektiven oder strategische Empfehlungen für die Ausrichtung der Politik können je nach Ausrichtung der Evaluierung genutzt werden. Auch die Nutzung erfordert wiederum die Abstimmung und Kooperation verschiedener Akteure aus Verwaltung und gegebenenfalls auch Politik.

Mit diesen Schritten sind in Umrissen die Aufgaben skizziert, die sich bei der Einrichtung von Evaluierungssystemen stellen, welche die Anforderungen der Erfolgskontrolle auf Ebene von Förderprogrammen erfüllen können.

Die im Gutachten vorgelegten Wirkungsmodelle auf Ebene der Politikfelder, Programmgruppen und zum Teil einzelner Programme sowie die Indikatoren bilden eine Grundlage für die Erarbeitung derartiger Systeme. Sie zeigen zentrale Indikatoren auf, wobei in Abhängigkeit von den konkreten Zielen und Ausgestaltungen für die einzelnen Förderprogramme eine weitere Anpassung und Konkretisierung erforderlich sein kann. Sie bieten jedoch ein Instrumentarium an, mit dem zentrale Aufgabenstellungen der Planung, Durchführung und Erfolgskontrolle von Förderprogrammen unterstützt werden können.

Die einheitliche Herangehensweise über fünf zentrale Politikfelder hinweg sowie die systematisch ähnlich strukturierte Präsentation der Wirkungsmodelle und vorgeschlagenen Performanzindikatoren bieten Ansatzpunkte, die Herangehensweise bei der Einführung von Erfolgskontrollsystemen zu vereinheitlichen und damit zu vereinfachen. Neben den inhaltlichen Anregungen kann auch die Form der Aufbereitung von Wirkungsketten und Indikatorenübersichten hierbei Unterstützung leisten.

Fußnoten

1 Der vorliegende Beitrag wurde von Dr. Oliver Schwab (IfS Berlin) unter Mitarbeit von Prof. Dr Gerhard Untiedt (GEFRA, Münster) und Prof. Dr. Helmut Karl (Ruhr-Universität Bochum) erstellt.