Vom FWF beauftragte Evaluierungen, Studien und andere forschungspolitische Dienstleistungen werden mittels transparenter Auswahlverfahren und definierter Kriterien grundsätzlich an unabhängige, professionelle, einschlägig ausgewiesene Expert:innen vergeben¹. Dem Grundsatz des offenen Zugangs zu wissenschaftlichem Wissen folgend unterstützt der FWF nicht nur Open Access zu Forschungsergebnissen aus seinen geförderten Projekten, sondern auch den freien Zugang zu von ihm finanzierten Evaluationen, Studien und anderen forschungspolitischen Dienstleistungen inkl. der Kosten. Wo rechtlich möglich, gilt dies für alle Ergebnisse und Daten, die aus diesen Studien, Evaluationen und anderen forschungspolitischen Dienstleistungen resultieren².

Dieses Dokument definiert den Umgang des FWF mit von ihm beauftragten Evaluierungen, Studien und anderen forschungspolitischen Dienstleistungen und hält technische Kriterien für den Open Access Zugang fest. Im Appendix wird die Struktur der Metadaten festgehalten, die Evaluator:innen und Studienautor:innen zur Verfügung stellen müssen.

Für eine Förderinstitution wie den FWF ist es entscheidend, dass die Evaluation seiner Programme den gleichen, hohen Qualitätsansprüchen genügt, die er an die Evaluation der von ihm geförderten Projekte anlegt. Es sollen daher für Evaluierungen von FWF Programmen entsprechende Kriterien festgelegt und veröffentlicht werden.

Vor allem geht es (auch) darum, Unabhängigkeit und Unparteilichkeit als wesentliches Qualitätskriterium einer korrekten Evaluierung zu garantieren und dem Problem des, meist naturgemäß gegebenen, Naheverhältnisses zwischen Evaluator:innen und Auftraggeber:innen (Finanzgebern) einer Evaluation, Rechnung zu tragen. Der FWF berücksichtigt hierbei die Richtlinien der Österreichischen Plattform für Forschungs- und Technologiepolitikevaluierung (fteval)³.

Die Durchführung bzw. Vergabe von Evaluationen muss vom Präsidium des FWF beschlossen und dokumentiert werden.

Qualität

Evaluierungen von FWF Programmen

• sind entweder bei Programmstart oder in angemessenen, zyklischen Zeitabständen während der Laufzeit von Programmen anzusetzen;
• werden grundsätzlich nur vergeben an unabhängige, professionelle, einschlägig ausgewiesene Evaluator:innen (bzw. entsprechende Institutionen). Je nach Programmzusammenhang werden dabei nach Möglichkeit ausländische Evaluator:innen (Institutionen) bevorzugt.
• Hinsichtlich Design und Durchführung müssen Evaluationen grundsätzlich die fteval-Qualitätsstandards erfüllen; dies ist bei den TORs („terms of reference“) zu berücksichtigen.
• Auftragsevaluierungen von FWF Programmen müssen öffentlich ausgeschrieben werden. Bei sehr kleinen Programmen behält sich der FWF vor, diese basierend auf öffentlichen Kennzahlen selbst zu evaluieren.

Transparenz und Controlling

Bei künftigen Evaluierungen von FWF Programmen wird ein neutrales Controlling etabliert, das die Einhaltung internationaler Qualitätsstandards sicherstellt.

Im Sinn einer maximalen Transparenz und Unparteilichkeit wird ein derartiges Controlling gegebenenfalls durch zumindest eine:n internationale:n, unabhängige:n Expert:in oder unter Einbindung internationaler Schwesterorganisationen oder anderer, einschlägiger Institutionen (wie z.B. Science Europe) erfolgen.

Diese Expert:innen sichten und kommentieren

• die Formulierung der TORs;
• die Formulierung der Ausschreibung;
• den Entwurf zum Abschlussbericht.

Sie nehmen teil/wirken mit an

• den Projektpräsentationen der Bewerber:innen (gegebenenfalls);
• der Auswahl der Auftragnehmer:in;
• den Präsentationen von Zwischenergebnissen (gegebenenfalls);
• der Abnahme des Endberichtes;
• der Präsentation der Ergebnisse (gegebenenfalls);
• der öffentlichen Präsentation des Endberichtes (gegebenenfalls).

Der FWF verfasst zu jeder Evaluation einen schriftlichen Kommentar, der ebenso wie der Evaluationsbericht zu veröffentlichen ist. Die abschließende Stellungnahme zum Verlauf der Evaluation durch die:den begleitende:n Expert:in fließt in diesen Kommentar ein.

Die Durchführung bzw. Vergabe von Studien und anderen forschungspolitischen Dienstleistungen hat vom Präsidium des FWF beschlossen und dokumentiert zu werden. Ab einem Budgetrahmen von 10.000 € muss dies nach einer vorherigen Ausschreibung nach transparenten Kriterien erfolgen.

Einen Sonderfall stellt die Vergabe von Studien in Kooperation mit anderen Organisationen dar. Hier ist von Fall zu Fall eine gemeinsame Vorgangsweise zur Vergabe der Studien zu wählen. Jedenfalls aber hat ein Präsidiumsbeschluss bzw. eine entsprechende Dokumentation zu erfolgen.

Die Ergebnisse forschungspolitischer Dienstleistungen (z.B. Beratungen und ähnliche Serviceleistungen) müssen gegenüber dem Präsidium dokumentiert werden. Zumindest  eine Kurzfassung der Ergebnisse ist jedenfalls auf der Homepage des FWF zu publizieren.

Qualität und Controlling

Vom FWF beauftragte Studien und forschungspolitische Dienstleistungen werden grundsätzlich nur an unabhängige, professionelle, einschlägig ausgewiesene Expert:innen vergeben. Je nach thematischem Rahmen werden dabei nach Möglichkeit ausländische Expert:innen bevorzugt. Gegebenenfalls werden diese Studien unter Einbindung Dritter (nationale Partner:innen, internationale Schwesterorganisationen oder andere, einschlägige Institutionen) erfolgen.

Die Ergebnisse der vom FWF beauftragten Evaluierungen, Studien oder anderer forschungspolitischer Dienstleitungen werden grundsätzlich nach den FWF-Regeln zu Open Access und im Einklang mit der Berliner Erklärung über offenen Zugang zu wissenschaftlichem Wissen sowie dem Zugang zu Open Government der Europäischen Kommission veröffentlicht. Ob eine öffentliche Präsentation des Berichtes (der Ergebnisse) erfolgt, ist von der jeweiligen Studie bzw. Evaluation (Umfang, Bedeutung) abhängig.

Technische Kriterien der FWF Open Access Policy

Folgende technische Kriterien für den offenen Zugang zu Evaluierungen, Studien und Daten sind zu berücksichtigen:

• Für die Speicherung von Publikationen und Daten, die aus vom FWF beauftragten Evaluationen und Studien entstehen, ist ein geeignetes Repositorium (im Directory of Open Access Repositories registriert) zu wählen.
• Publikationen und Daten müssen mit einem Digital Object Identifier (DOI) versehen werden.
• Publikationen und Daten sollen unter der Creative Commons Attribution CC BY oder einer ähnlichen Lizenz veröffentlicht werden.
• Publikationen sollen im PDF und im HTML- oder XML-Format (zu XML: http://www.biomedcentral.com/about/datamining) und Daten in den jeweils datenspezifischen Formaten zur Verfügung gestellt werden.
• Alle relevanten Outputs (Metadaten, Publikationstext, zugrundeliegende Daten, Zitationen, Lizenzinformationen) müssen in einer maschinenlesbaren Form via „open standards“⁴ zur Verfügung gestellt werden.

Metadata

Für jede Veröffentlichung sind folgende Metadaten (in Englisch) bereitzustellen:

¹ Seit 1.1.2023 gilt Art. 20 Abs 5 B-VG, dass öffentliche Auftraggeber verpflichtet sind, „… Studien, Gutachten und Umfragen, die sie in Auftrag gegeben haben, samt deren Kosten in einer für jedermann zugänglichen Art und Weise zu veröffentlichen, solange und soweit deren Geheimhaltung nicht gemäß Abs. 3 (gesetzliche Verschwiegenheitspflicht) geboten ist …“

² Potentielle Interessenskonflikte oder Befangenheiten sind offenzulegen.
Angebote von ehemaligen Mitarbeiter:innen des FWF zu Evaluierungen, Studien oder sonstigen forschungspolitischen Dienstleistungen können erst nach einer Frist von fünf Jahren berücksichtigt werden. In jedem Fall ist eine Unbefangenheitserklärung zu unterzeichnen. Ehemalige Mitarbeiter:innen können grundsätzlich nicht berücksichtigt werden, wenn sie als Mitarbeiter:in im betreffenden Zeitraum mit der Materie direkt im FWF beschäftigt waren oder eine leitende Funktion inne gehabt haben.

³ Die Plattform für Forschungs- und Technologieevaluierung ist eine überparteiliche Vereinigung (ein Verein) aller mit Evaluation befassten Stakeholder in Österreich: www.fteval.at

⁴ Anzuwenden sind die Standards von Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH)