ITECO.be

L’équipe d’Entraide et fraternité évalue chaque année ses actions d’éducation au développement après l’importante campagne de carême qui se déroule en mars. Ils n’en étaient toutefois pas satisfaits, car la méthode utilisée était à leur avis « peu scientifique » : les réponses au questionnaire envoyé à un échantillon de personnes impliquées dans la campagne —des « personnes relais » ainsi que des bénévoles des sept cellules régionales— « donnaient des informations intéressantes mais peu représentatives : elles permettaient de connaître le nombre de personnes touchées et de savoir si on suivait la bonne route, mais jamais de manière très fouillée », commente Stéphane Grawez, responsable du département sensibilisation de cette ONG généraliste.

C’est pourquoi —« mais la suggestion de la DGCI a également compté »— ils ont décidé de commander une évaluation externe, par le biais du Réseau éducation au développement, à Jacques Bastin et à Namur Corral, d’ITECO. Effectuée entre octobre 2000 et janvier 2001, l’évaluation visait la campagne Le pouvoir de l’argent, des années 1998 et 1999, tout en comprenant l’organisation interne et la politique éducative dans leur globalité, notamment la méthode, les outils, l’impact sur le public touché (qu’il s’agisse des connaissances ou des actions) et la cohérence de la campagne avec la démarche globale de l’institution.

• La décision d’avoir recours, pour la première fois, à des agents externes était en partie motivée par vos carences en matière de méthodologie. Comment avez-vous travaillé ?

Stéphane Grawez : Après un travail préparatoire destiné à définir les principes de l’intervention plusieurs réunions ont eu lieu, au cours desquelles les évaluateurs ont rencontré une cinquantaine de personnes de tous horizons : des membres de l’équipe nationale, des animateurs, des bénévoles, des participants aux activités… Ce processus participatif a motivé tout le monde. La participation fait partie de notre culture institutionnelle, mais ce qui a été apprécié ici, c’est d’avoir fait appel à un évaluateur externe et d’avoir mis en oeuvre des moyens sérieux. Les gens étaient contents de pouvoir s’exprimer, même si parfois cela débordait sur des insatisfactions d’ordre institutionnel ».

• Mesurer l’impact est peut-être l’aspect le plus difficile à aborder lors de l’évaluation des actions éducatives en général. Comment avezvous abordé ce problème ?

Stéphane Grawez : Il convient d’établir une distinction par rapport à l’éducation formelle. Nous ne sommes pas dans une logique d’apprentissage de savoirs, comme cela se passe dans l’enseignement, mais dans une logique plus globale qui comprend l’éducation à des valeurs, à la prise en compte du changement dans des structures politiques… Et tout cela est bien plus difficile à évaluer. La nécessité de mieux mesurer cet aspect constitue, justement, l’une des conclusions de notre évaluation : nous avons décidé de bien définir des critères qualitatifs, et ce dès janvier prochain. Cela dit, je crois que, contrairement à la tendance existant dans le milieu des ONG, l’évaluation ne peut pas minimiser les critères quantitatifs. Il est tout aussi important de parler en termes d’audience, de savoir si le travail touche vraiment le public cible et de préciser si le rapport coût-contact est positif ».

-*A quelles autres conclusions êtes-vous arrivés ?

Stéphane Grawez : A part la décision portant sur une meilleure définition des critères qualitatifs de l’évaluation de l’impact, dont je viens de parler, il en existe d’autres concernant le public (mieux distinguer les actions grand public de celles visant un public plus spécifique), la programmation (on glisse là vers le cadre logique) et l’organisation interne.

• La peur des résultats négatifs ou la possibilité que cela déstabilise l’équilibre interne de l’équipe ont été évoquées pour expliquer le faible nombre d’ONG ayant déjà réalisé des évaluations…

Stéphane Grawez : Je trouve le mot déstabilisation un peu fort. Il est vrai que l’évaluation peut impliquer un caractère déstabilisateur pour certains, mais cela se passe à mon avis dans des organisations à structure pyramidale plutôt que dans celles plus horizontales. Dans notre cas, l’exercice a été très positif, tant sur le plan de l’expérience que des résultats : il n’y a pas eu de grande catastrophe, l’évaluateur trouvait que la campagne était cohérente… Mais il est bien possible que si les résultats avaient été négatifs, l’évaluation n’aurait peut-être pas été aussi encourageante pour tout le monde. Enfin, quant à la peur des évaluations, je pense qu’elle existe dans toutes les institutions et pas seulement dans les ONG. Cela dit, apprendre qu’il y a peu d’associations qui ont évalué leur travail m’a étonné : d’autres secteurs, comme ceux des organisations de jeunesse ou de l’éducation permanente n’ont même pas la chance de disposer d’un financement spécifique pour réaliser cela.