Le dispositif du « 1% » mis sur pied par la Coopération belge a permis une diffusion importante de la culture de l’évaluation auprès des ONG. Par contre, les ONG peineraient à capitaliser les résultats de ces évaluations. Extraits choisis par Andrés Patuelli
L’étude commanditée par la Direction générale de coopération au développement (DGCD) belge à l’IRAM, en 2004 [1], avait pour objectif d’apprécier dans quelle mesure le dispositif du « 1% » avait permis l’amélioration de la qualité de la programmation des ONG cofinancées sur la période 1998-2002 [2]. Pour rappel, depuis 1998, la Coopération belge demande aux ONG de consacrer 1% des subventions à l’évaluation dite « interne », c’est à dire gérée par l’ONG mais réalisée par des experts indépendants. Ces évaluations, censées alimenter le dialogue entre ONG et le bailleur, doivent être utilisées par ces acteurs dans un objectif d’« apprentissage ». Ce dispositif réponde tout d’abord à un souci de contrôle et de gestion, le cofinancement des ONG représentant 12,5% du budget de la DGCD, en 2002. C’est, plus largement, la question de la légitimité de ce cofinancement qui se trouve posée et qui, le plus souvent, prend la forme d’une interrogation, voire d’une interpellation, sur la « valeur ajoutée » ou les « avantages comparatifs » des ONG dans le développement.
L’étude conclut que le dispositif du « 1% » a permis une diffusion importante de la « culture de l’évaluation » dans une optique d’amélioration des pratiques, en particulier autour des actions de terrain, mais aussi de la structuration interne des ONG. Les bénéfices de ce dispositif sont néanmoins inégalement répartis. Sur près de 500 travaux financés par le « 1% », le nombre moyen de travaux réalisés et leur qualité augmente en fonction de la taille du programme (montant du cofinancement). L’évaluation à proprement parler ne concerne qu’un peu plus de 50% des travaux financés par le « 1% ». Le reste des études identifiées concerne soit l’amélioration de la gestion des moyens de l’ONG, soit son organisation interne, soit des travaux d’autre nature. D’une façon générale, d’après l’étude cité, les ONG mettant en oeuvre des programmes de montants importants (supérieurs à un million d’euros) ont le mieux valorisé ces moyens.
L’analyse met également en évidence l’importance des relations, personnalisées, entre ONG et gestionnaires de la DGCD et révèle une ambiguïté persistante sur la finalité de l’évaluation du « 1% » entre ce qui relève de la délégation de moyens pour l’« apprentissage » des ONG et l’exigence de redevabilité d’un bailleur de fonds. De fait, les résultats de certaines évaluations ont pu être détournés de leur finalité d’apprentissage pour justifier certaines prises de décisions, en substitution vis-à-vis de l’absence de décision des ONG ; alors que l’enjeu aurait dû être, plutôt, d’apprécier les efforts de ces dernières pour intégrer les résultats des évaluations dans leur programmation.
En effet, dans l’optique de la programmation et de son amélioration, les effets du dispositif semblent mitigés. Les modalités opérationnelles de mise en oeuvre de l’approche par programme à travers les plans d’actions constituent un blocage évident. Par ailleurs, les effets « structurants » ne peuvent être observés que dans la durée. Ils s’expriment, au mieux, dans les plans d’actions du programme en cours d’exécution et, pour les ONG qui ont entamé une réorganisation interne visant à améliorer la qualité de leur programmation, ils seront à observer dans la préparation de la future programmation, à partir de 2008.
Contrairement aux finalités du dispositif, peu de valorisation globale a pu être effectuée par rapport aux travaux financés par le « 1% ». Par « valorisation globale » on entend toute utilisation plus générale que celle propre à l’ONG et la mise en oeuvre des programmes. L’étude pointe de nombreux manquements à cet égard. Tout d’abord, le seul repertoire institutionnel disponible est celui de l’ONG Atol, constitué sous l’impulsion de la fédération des ONG flamandes, Coprogram. Deuxièmement, peu d’études transversales ont été mises en oeuvre sur la base des travaux financés par le « 1% », hormis l’évaluation inter-ONG sur l’envoi de coopérants. Enfin, aucune « méta-évaluation » n’a permis d’associer les différents acteurs autour d’une réflexion partagée sur les résultats par types d’activité, sur la cohérence géographique (approche par pays) des différents programmes des ONG ni sur les outils appuyés par la Coopération belge ou sur les méthodologies. Peut-on considérer dès lors que l’évaluation en question constitue, à ce titre, le premier effort de valorisation globale pluri-acteurs du « 1% » ?
En vue de mutualiser les savoirs au sein des ONG, l’IRAM propose trois types de stratégies, contenues dans le « Plan d’action » en appui au renforcement de la qualité dans les ONG :
La constitution d’une « mémoire partagée » sous forme d’une base de données, ce qui est un préalable à toute réflexion sur la valorisation des travaux du « 1% ». L’expérience d’Atol constitue une base intéressante pour organiser deux bases de données sur les études et les évaluateurs que les ONG peuvent mobiliser et qui pourraient être généralisées à l’ensemble des travaux financés par le « 1% » et, si possible, l’ensemble des évaluations réalisées par les ONG et leurs partenaires sur les programmes.
Dans l’optique de capitalisation des savoirs autour de ce « stock » d’évaluations rendu disponible par la base de données, plusieurs initiatives pourraient être prises. Les Fédérations peuvent développer une approche plus pro-active sur l’utilisation des résultats au sein du milieu ONG par l’organisation de journées d’études sur l’analyse comparée des résultats entre ONG, de l’accompagnement méthodologique à l’élaboration et au suivi des programmes et ce, dans le cadre des appuis au « plan global qualité » des ONG qui constitue l’un de leurs objectifs d’action. Il est possible également de promouvoir la valorisation des résultats par l’organisation de « méta-évaluations » pilotées conjointement par l’ensemble des parties prenantes.
Enfin, les pistes de collaboration avec le milieu universitaire en matière de recherches appliquées sur les pratiques d’évaluation des ONG pourraient être relancées.
Dans le Plan d’action proposé par l’IRAM, la capitalisation des savoirs s’articule avec quatre autres lignes d’action : (a) le repositionnement du dispositif du « 1% » dans une pratique globale de l’évaluation du programme quinquennal, ainsi que (b) des actions sur le cadre réglementaire du « 1 % ». D’autres initiatives concernent (c) la pratique des ONG et l’approche programme ; et (d) le renforcement des capacités évaluatives des ONG et de la DGCD par le biais de formations ciblées.
En ce qui concerne le repositionnement du dispositif du « 1% », l’étude conseille, entre autres, de clarifier la finalité du dispositif entre « apprentissage » (ou « aide à la décision ») et redevabilité ; puis, de compléter le « 1% » par un fonds complémentaire ou « pot commun », afin d’aider les ONG bénéficiant des plus faibles subventions à faire recours à des expertises externes. Il serait intéressant, troisièmement, de les repositionner par rapport au cadre stratégique de l’approche par programme, compte tenu du fait que les études effectuées par les ONG sont de nature très diverse. Ceci pourrait être couplé à un dispositif plus vaste de « gestion des savoirs » ou « d’apprentissage collectif » de type IKM [3]
Par rapport aux actions sur la pratique des ONG, une première proposition est celle de construire un cadre méthodologique unifié sur les étapes du déroulement d’une évaluation, ainsi que sur les référentiels (critères) par type d’activités (avec notamment une standardisation des termes de référence, les critères de choix des experts ou le format des rapports). Des outils méthodologiques existants pourraient être mis à profit à ce propos. Enfin, une autre amélioration méthodologique qui semble prioritaire, est celle du renforcement de l’appropriation des évaluations par les ONG et leurs partenaires, car le suivi des évaluations, leur contrôle de qualité et l’utilisation de leurs résultats, figurent parmi les points les plus faibles épinglés par l’IRAM.
[1] Evaluation de l’utilisation du 1% du programme quinquennal des ONG consacré à l’évaluation, Institut de recherches et d’applications des méthodes de développement, IRAM, mars 2005, www.iram-fr.org
[2] En 2002, le montant du cofinancement des activités des ONG dépensé par la DGCD a été de 86.130.000 d’euros.
[3] Pour Institutional Knowledge Management, et de façon à transformer les ONG en véritables organisations « apprenantes ». Voir à ce propos le numéro 15 de la publication Traverses du Groupe français Initiatives : www.groupe-initiatives.org/result_toutraverses.asp