Regeln des FWF zur Qualität und Transparenz von Evaluierungen, Studien und forschungs- politischen Dienstleistungen

Vom FWF beauftragte Evaluierungen, Studien und andere forschungspolitische Dienstleistungen werden mittels transparenter Auswahlverfahren und definierter Kriterien grundsätzlich nur an unabhängige, professionelle, einschlägig ausgewiesene ExpertInnen vergeben. Dem Grundsatz des offenen Zugangs zu wissenschaftlichem Wissen folgend unterstützt der FWF nicht nur Open Access zu Forschungsergebnissen aus seinen geförderten Projekten, sondern auch den freien Zugang zu von ihm finanzierten Evaluationen, Studien und anderen forschungspolitischen Dienstleistungen. Wo rechtlich möglich, gilt dies für alle Ergebnisse und Daten, die aus diesen Studien, Evaluationen und andere forschungspolitischen Dienstleistungen resultieren.

Dieses Dokument definiert den Umgang des FWF mit von ihm beauftragten Evaluierungen, Studien und anderen forschungspolitischen Dienstleistungen und hält technische Kriterien für den Open Access Zugang fest. Im Appendix wird die Struktur der Metadaten festgehalten, die EvaluatorInnen und StudienautorInnen zur Verfügung stellen müssen.

Evaluationen

Für eine Förderinstitution wie den FWF ist es entscheidend, dass die Evaluation seiner Programme den gleichen, hohen Qualitätsansprüchen genügt, die er an die Evaluation der von ihm geförderten Projekte anlegt. Es sollen daher für Evaluierungen von FWF Programmen entsprechende Kriterien festgelegt und veröffentlicht werden.

Vor allem geht es (auch) darum, Unabhängigkeit und Unparteilichkeit als wesentliches Qualitätskriterium einer korrekten Evaluierung zu garantieren und dem Problem des, meist naturgemäß gegebenen, Naheverhältnisses zwischen EvaluatorInnen und Auftrag-geberInnen (Finanzgebern) einer Evaluation, Rechnung zu tragen. Dabei sind Spielregeln zu etablieren, die in ihrer Summe eine Art Verhaltenskodex darstellen. Sie beziehen sich vor allem auf die Kompetenz der EvaluatorInnen; die systematische Planung und Durchführung von Evaluierungen; die Korrektheit und Glaubwürdigkeit der EvaluatorInnen, die Achtung der schutzwürdigen Interessen und Rechte Dritter sowie die Verantwortung gegenüber der Gesellschaft1.

Die Durchführung bzw. Vergabe von Evaluationen muss vom Präsidium des FWF beschlossen und dokumentiert werden.

Qualität

Evaluierungen von FWF Programmen

  • sind in angemessenen Zeitabständen nach dem Beginn und während der Laufzeit von Programmen anzusetzen (5-10 Jahre);
  • werden grundsätzlich nur vergeben an unabhängige, professionelle, einschlägig ausgewiesene EvaluatorInnen (bzw. entsprechende Institutionen). Je nach Programmzusammenhang werden dabei nach Möglichkeit ausländische EvaluatorInnen (Institutionen) bevorzugt.
  • Hinsichtlich Design und Durchführung müssen solche Evaluationen grundsätzlich die Qualitätsstandards der Plattform für Forschungs- und Technologieevaluierung2 erfüllen; dies ist bei den TORs („terms of reference“) zu berücksichtigen.
  • Evaluierungen von FWF Programmen müssen öffentlich ausgeschrieben werden.

Transparenz und Controlling

Bei künftigen Evaluierungen von FWF Programmen wird ein neutrales Controlling etabliert, das die Einhaltung internationaler Qualitätsstandards sicherstellt.

Im Sinn einer maximalen Transparenz und Unparteilichkeit wird ein derartiges Controlling jedenfalls durch zumindest eine/n internationalen, unabhängigen ExpertIn sowie gegebenenfalls unter Einbindung internationaler Schwesterorganisationen oder anderer, einschlägiger Institutionen (wie z.B. Science Europe) erfolgen.

Diese ExpertInnen sichten und kommentieren

  • die Formulierung der TORs;
  • die Formulierung der Ausschreibung;
  • den Entwurf zum Abschlussbericht.

Sie nehmen teil/wirken mit an

  • den Projektpräsentationen der BewerberInnen (gegebenenfalls);
  • der Auswahl der AuftragnehmerIn;
  • den Präsentationen von Zwischenergebnissen (gegebenenfalls);
  • der Abnahme des Endberichtes;
  • der Präsentation der Ergebnisse (gegebenenfalls);
  • der öffentlichen Präsentation des Endberichtes (gegebenenfalls).


Der FWF verfasst zu jeder Evaluation einen schriftlichen Kommentar, der ebenso wie der Evaluationsbericht zu veröffentlichen ist. Die abschließende Stellungnahme zum Verlauf der Evaluation durch die/den begleitende/n ExpertIn fließt in diesen Kommentar ein.

Studien und forschungspolitische Dienstleistungen

Die Durchführung bzw. Vergabe von Studien und anderen forschungspolitischen Dienstleistungen hat vom Präsidium des FWF beschlossen und dokumentiert zu werden. Ab einem Budgetrahmen von 10.000 € muss dies nach einer vorherigen Ausschreibung nach transparenten Kriterien erfolgen.

Einen Sonderfall stellt die Vergabe von Studien in Kooperation mit anderen Organisationen dar. Hier ist von Fall zu Fall eine gemeinsame Vorgangsweise zur Vergabe der Studien zu wählen. Jedenfalls aber hat ein Präsidiumsbeschluss bzw. eine entsprechende Dokumentation zu erfolgen.

Die Ergebnisse forschungspolitischer Dienstleistungen (z.B. Beratungen und ähnliche Serviceleistungen) müssen gegenüber dem Präsidium dokumentiert werden. Zumindest  eine Kurzfassung der Ergebnisse ist jedenfalls auf der Homepage des FWF zu publizieren.

Qualität und Controlling

Vom FWF beauftragte Studien und forschungspolitische Dienstleistungen werden grundsätzlich nur an unabhängige, professionelle, einschlägig ausgewiesene ExpertInnen vergeben. Je nach thematischen Rahmen werden dabei nach Möglichkeit ausländische ExpertInnen bevorzugt. Gegebenenfalls werden diese Studien unter Einbindung Dritter (nationale PartnerInnen, internationale Schwesterorganisationen oder andere, einschlägige Institutionen) erfolgen.

Studien und Evaluationen: Veröffentlichung der Berichte

Die Ergebnisse der vom FWF beauftragten Evaluierungen, Studien oder anderer forschungspolitischer Dienstleitungen werden grundsätzlich nach den FWF-Regeln zu Open Access und im Einklang mit der Berliner Erklärung über offenen Zugang zu wissenschaftlichem Wissen sowie dem Zugang zu Open Government der Europäischen Kommission veröffentlicht. Ob eine öffentliche Präsentation des Berichtes (der Ergebnisse) erfolgt, ist von der jeweiligen Studie bzw. Evaluation (Umfang, Bedeutung) abhängig.

Technische Kriterien der FWF Open Access Policy

Folgende technische Kriterien für den offenen Zugang zu Evaluierungen, Studien und Daten sind zu berücksichtigen:

  • Für die Speicherung von Publikationen und Daten, die aus vom FWF beauftragten Evaluationen und Studien entstehen, ist ein geeignetes Repositorium (im Directory of Open Access Repositories registriert) zu wählen.
  • Publikationen und Daten müssen mit einem Digital Object Identifier (DOI) versehen werden.
  • Publikationen und Daten sollen unter der Creative Commons Attribution CC BY oder einer ähnlichen Lizenz veröffentlicht werden.
  • Publikationen sollen im PDF und im HTML- oder XML-Format (zu XML: http://www.biomedcentral.com/about/datamining) und Daten in den jeweils datenspezifischen Formaten zur Verfügung gestellt werden.
  • Alle relevanten Outputs (Metadaten, Publikationstext, zugrundeliegende Daten, Zitationen, Lizenzinformationen) müssen in einer maschinenlesbaren Form via open standards3 zur Verfügung gestellt werden.

Metadata

Für jede Veröffentlichung sind folgende Metadaten (in Englisch) bereitzustellen:

Title
Authors
Author Afiiliations
DOI
Publishing Date
Publication Type
Publication Venue
Pages
Peer Review
Subject Areas
Keywords (max. 6)
Copyright
LicenceThis is an open access publication distributed under the terms of the Creative Commons Attribution Licence, which permits unrestricted use, distribution, reproduction and adaptation in any medium and for any purpose provided that it is properly attributed. For attribution, the original author(s), title, publication source and either DOI or URL of the article must be cited.
Cite as
Data Availability
Competing Interests
Funding
Author Contributions
Acknowledgements

1 Eine gute Übersicht über Verfahren und Best Practice verschiedener Europäischer Förderorganisationen findet sich hier: ESF MOF-Report Evaluation in National Research Funding Agencies: approaches, experiences and case studies (F.Bingen, B.Curran, A.M.Mugabushaka, A.Reinhard, October 2009)

2 Die Plattform für Forschungs- und Technologieevaluierung ist eine überparteiliche Vereinigung (ein Verein) aller mit Evaluation befassten Stakeholder in Österreich: www.fteval.at

3 Anzuwenden sind die Standards von Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH)