ITECO.be

L’éducation au développement est un domaine éminemment idéologique. La notion de développement n’est pas neutre et recouvre différentes visions du monde. Il en va de même pour les modèles éducatifs. Une action d’éducation au développement se base sur une lecture des problèmes de développement et du rôle qu’y jouent les acteurs sociaux. Elle vise un effet auprès du public auquel elle s’adresse : cherche-t-on à ce que nous prenions conscience de la situation d’inégalités qui prévaut entre les peuples du Nord et du Sud ? A nous faire descendre dans la rue scander « FMI-Banque mondiale, ça suffit ! » ? A modifier nos comportements de consommateurs irresponsables en achetant éthique ? A ce que nous produisions moins de déchets et triions mieux nos poubelles ? A faire voter la taxe Tobin par nos sénateurs ? A nous faire verser quelques larmes ou cracher au bassinet ? A nous faire comprendre que le développement est affaire de modernisation des sociétés, de luttes sociales, de préservation des identités culturelles, de révolution ou d’intégration dans le marché mondial ?

L’évaluateur doit pénétrer la dimension idéologique de l’action et de l’organisation qu’il évalue. S’il ne doit pas y adhérer, il doit en saisir le sens pour pouvoir juger la cohérence de l’action. Sa mission étant de prendre du recul, il n’est pas question pour l’évaluateur de prendre fait et cause pour l’action, ce qui le disqualifierait à porter dessus un regard extérieur et critique. L’évaluateur n’est pas un militant de la cause qui sous tend l’action qu’il évalue. Par contre, son rôle est bien, dans le cas qui nous occupe, d’oeuvrer dans le but de l’améliorer.

Nous parlons ici de l’évaluation menée par un évaluateur externe, non impliqué dans l’action et l’organisation évaluées. Le commanditaire en attend un miroir de son action et de l’organisation qu’il met en place pour la piloter. L’évaluation lui appartient, il décide par qui et ce qu’il va faire évaluer. Son but est de questionner sa pratique pour progresser. Il ne s’agit pas ici d’une évaluation de contrôle. Ce type d’évaluation correspond à la définition de « l’évaluation interne » que donne la DGCD à propos du pour cent des subsides qui doit obligatoirement leur être consacré.

L’évaluateur externe est amené à observer une réalité et à porter une appréciation sur celle-ci. Souvent, on lui demande de faire des recommandations en vue d’améliorer l’action. Pour émettre un jugement et des conseils, sa légitimité doit être reconnue par le commanditaire. De quoi cette légitimité doit-elle être faite ?

Avant de maîtriser les techniques de l’évaluation, un atout pour l’évaluateur est de disposer d’une pratique la plus diversifiée possible non seulement de l’éducation au développement mais aussi de la coopération au développement. En effet, les pratiques éducatives au Nord et celles de partenariat au Sud se croisent et se complètent, l’éducation au développement étant une héritière de la coopération. En effet c’est, entre autres, à l’aune de ses propres expériences que l’évaluateur tentera de mesurer la bonne marche de l’action qu’il évalue.

Mieux encore si cette expérience a été systématisée à l’aide ou sous forme d’outils théoriques propices à la lecture d’une pratique : dans le domaine de l’éducation au développement ces outils d’analyse concernent les modèles de développement, la communication interculturelle, l’éducation populaire. Des instruments issus de la sociologie des organisations seront aussi utiles quand l’évaluation touchera à l’organisation mise en place pour mener l’action à bien.

L’évaluateur doit trouver sa place. Il donne la parole et se met à l’écoute des acteurs concernés par l’action évaluée. Un contrat de confiance doit être établi : le statut de l’évaluation au sein de l’organisation doit être clair : à qui l’évaluateur rend-il compte ?, la confidentialité des entretiens, les conditions prévues pour la restitution des conclusions. L’interviewé doit prendre connaissance de tous ces paramètres pour déterminer en connaissance de cause quelle information il voudra bien transmettre, quelles interprétations il en fait et selon quelle hiérarchie.

Assumer un tel rôle implique un haut degré d’indépendance dans le jugement de l’évaluateur. Une fois acquis le principe que son travail vise à améliorer l’action, l’évaluateur doit pouvoir exercer son jugement de la façon la plus indépendante possible. Un débat en cours met en doute la qualité qu’auraient des ONG subventionnées à en évaluer d’autres. Trois types d’arguments nous semblent pourtant plaider en faveur de ce cas de figure.

D’abord en termes de compétences en ce qu’elles touchent à la connaissance, de l’intérieur, du domaine de l’éducation au développement. Participer à des réseaux d’éducation au développement, en Belgique et en Europe, et les collaborations avec d’autres ONG dans des actions éducatives tend à doter l’évaluateur d’une connaissance d’ensemble du secteur (l’éducation au développement est multiforme) et d’une expérience diversifiée qui lui servira à exercer des comparaisons.

Ensuite, en termes de rapport qualité-prix : faire partie d’un organisme subventionné permet à l’évaluateur de pratiquer des prix qui, grosso modo, sont moitié moins chers que ceux du marché. Cela autorise le commanditaire de l’évaluation à demander une analyse plus approfondie de son action pour le même montant engagé (enquêtes et entretiens sont gourmands en temps). C’est aussi l’intérêt du bailleur de fonds qui exige qu’une partie de sa subvention soit utilisée pour des évaluations.

Enfin en termes d’indépendance, il y a dans ce cas de figure un double avantage dans la relation entre évaluateur et évalué. D’une part, étant payé par son client, l’évaluateur se doit de lui rendre des comptes, la qualité de son travail est à son tour évaluée. D’autre part sa qualité d’organisme subventionné permet à l’évaluateur de ne pas être excessivement dépendant de son client. S’il y a conflit sur le fond, l’évaluateur peut plus facilement se permettre de perde un client que s’il en était dépendant financièrement à 100 %. Il y a sans doute là une piste à creuser pour les pouvoirs publics dans leur quête de mieux doter le secteur d’outils d’amélioration de la qualité du travail comme dans une définition plus précise de l’offre de services.

L’évaluateur prend position : l’exercice d’évaluation n’est pas un exercice technique neutre. En faisant sa photo de la réalité, l’évaluateur choisit un angle de vue, une distance, un cadrage et un objectif. Il porte ensuite un jugement sur l’image prise à partir de sa vision des choses, de son expérience, de ses échelles de comparaison. C’est pourquoi le choix de l’évaluateur par le commanditaire et l’élaboration des termes de référence sont essentiels dans la démarche d’évaluation. Les conditions de la prise de vue doivent être négociées au préalable. Le commanditaire doit s’assurer que le point de vue qui est exercé est bien celui qui est désiré.

S’il exerce sa subjectivité, l’évaluateur doit faire preuve de rigueur dans sa méthode et dans ses raisonnements. La photo doit être la plus nette possible et bien représenter l’objet de l’évaluation tel que convenu. Le recueil de l’information, l’analyse de l’information, les grilles utilisées, les raisonnements à la base des conclusions et des recommandations doivent être limpides pour le commanditaire. Cela lui permettra de juger à son tour du bien fondé des conclusions et des recommandations émises par l’évaluateur, mais aussi de se donner des repères dans leur réappropriation. Lesquelles valider et jusqu’où les intégrer dans la réorientation de l’institution et de l’action ? En effet, dans ce type d’évaluation, les conclusions et les recommandations ont le statut de point de vue de l’évaluateur. Elles constituent une matière à travailler pour l’organisme évalué dans le pilotage de son action. Le jugement d’un seul n’est pas la loi de tous.

Le choix des méthodes utilisés dans l’évaluation est fixé lors de la négociation de la demande et de l’élaboration des termes de référence. Il est guidé par le type d’activité évalué, par l’objet de l’évaluation, par les résultats attendus, les critères retenus pour l’évaluation ainsi que par les moyens disponibles.

Opter pour une évaluation réalisée par un évaluateur externe constitue déjà un premier choix méthodologique. Il faut ensuite fixer le caractère plus ou moins participatif de la méthode. En général, quand on parle de participation c’est un souci démocratique que l’on manifeste : tenir compte des points de vue des différents acteurs, les tenir informés de la marche de l’évaluation, les impliquer dans la restitution et la discussion de ses résultats et des propositions qui en sont issues. Le degré participatif de l’évaluation doit être négocié lors de la demande et figurer dans les termes de référence de l’évaluation.

Dans une démarche d’évaluateur externe, c’est cependant celui-ci qui garde la responsabilité de l’analyse, des conclusions et des recommandations. Le but ici n’est pas de construire un point de vue collectif et consensuel. Au contraire même, il s’agirait de faire émerger les contradictions, les points de vue opposés, les alternatives.

En termes de méthode, rassembler et analyser des informations dans des séances collectives réunissant différents acteurs concernés fait partie des possibilités. L’expérience montre toutefois que des entretiens individuels permettent un recueil plus complet et plus objectif de l’information et des différents points de vue. La parole peut être moins libre dans des séances collectives, lors desquelles s’expriment parfois des jeux de pouvoir entre les participants. Dans ce sens, l’inventaire des acteurs à interviewer est fondamental et doit aussi faire partie de la négociation préalable à l’évaluation.

Une autre question méthodologique est le lien entre le but de l’évaluation et le moment auquel on la réalise par rapport à l’action. Dans la démarche d’évaluation telle que nous l’avons ici définie, le but est d’améliorer la qualité de l’action. Les conclusions et les recommandations doivent servir à cette fin. Il y a cependant des nuances : une évaluation des besoins de formation des bénévoles d’une ONG permet de revoir sa pratique en la matière mais est aussi un préalable à la conception et à la mise en place d’une réel dispositif de formation. L’évaluation d’un centre de documentation ou d’une revue trimestrielle cherche à faire le point de l’action en cours en vue de l’améliorer. L’évaluation a posteriori d’une campagne d’éducation et de plaidoyer vise à en vérifier les effets atteints. Mais les leçons qui en sont tirées serviront lors de la conception et de la programmation d’une autre campagne.

Approche quantitative ou approche qualitative ? On oppose souvent les deux, l’expérience montre qu’elles se complètent souvent intelligemment.
Disposer de données quantitatives permet d’objectiver certains aspects de l’action : l’audience qu’elle a obtenue, une caractérisation du public touché, les différentes tendances exprimées dans le public et dans quelles proportions. Ces données peuvent s’obtenir à partir de relevés statistiques (présences à une activité, nombre de publications, d’abonnements, de données comptables (budgets, comptes de résultats) ou d’enquêtes réalisées auprès du public, le but étant dans ce cas d’essayer d’obtenir l’opinion d’un échantillon le plus représentatif possible du public visé. L’enquête quantitative a ses limites : les données sont brutes, la plupart du temps non commentées, le questionnaire peut être mal perçu, les réponses peuvent varier en fonction du contexte et la compréhension des questions d’une personne à l’autre.

Les données qualitatives prennent alors le relais : la plupart du temps il s’agira d’entretiens approfondis avec les acteurs que l’on veut mieux connaître et dont on veut avoir l’opinion : public, collaborateurs, partenaires. Il peut aussi s’agir d’une analyse fouillée d’un échantillon de documents ou d’outils pédagogiques, de leur contenu et de leur pertinence par rapport au public touché.

L’évaluation en éducation au développement est une pratique récente.
Jusque-là ce souci était peu développé, les affirmations du type « ce n’est pas évaluable » étaient monnaie courante. Il faudrait éviter un piège inverse : celui de vouloir nécessairement tout mesurer et qui plus est de façon objectivement vérifiable. L’utilisation systématique et mécanique d’un instrument comme le cadre logique peut mener à ce genre d’excès.

Certaines actions éducatives visent un changement déterminé des représentations, des comportements et des attitudes auprès du public qu’elles touchent. Formuler ces objectifs constituerait déjà un progrès dans la conception des actions d’éducation au développement. Comment mesurer maintenant que cet effet est bien atteint ? A priori, cela implique une mesure de l’état A du public et une autre à l’état B souhaité, à l’aide d’un instrument qui éviterait toute interférence du contexte sur l’évolution du public. Dans une démarche d’éducation des adultes, qui mise sur la responsabilité et l’autonomie du public dans l’exercice de son esprit critique, on ne peut placer les gens en situation d’évaluation de leurs acquis comme à l’école. Et puis, même le ferait-on, comment vérifier que ces acquis sont dus et jusqu’où à l’effet direct de l’action évaluée plutôt qu’à d’autres influences du contexte ?

Probablement faut-il se contenter de relever des indices de changement et montrer comment l’action, inscrite dans le contexte, a pu y contribuer. Ce qui n’empêche que cela soit fait avec la plus grande rigueur et le plus complètement possible, mais aussi avec une bonne dose d’humilité. Et procéder de la sorte ne doit pas faire non plus l’économie de procéder à une analyse sérieuse du public au départ de l’action, pas tant dans l’intention de mesurer à la sortie les changements obtenus, mais bien pour élaborer de façon cohérente et pertinente un dispositif éducatif qui ait quelque chance d’aboutir.