Connaissances, attitudes et comportements

Mise en ligne: 8 juin 2007

Evaluer les effets d’une formation d’animateurs en éducation
au développement, par Adélie Miguel Sierra

Pour ITECO, l’évaluation est une démarche importante pour évoluer et améliorer son propre dispositif d’activités mais aussi pour renforcer les acteurs de la coopération et de l’éducation permanente à qui l’ONG s’adresse prioritairement. En s’interrogeant sur les processus et les
effets des actions de formation, ITECO mène une réflexion continue sur ses pratiques pour mettre en évidence ses acquis, ses compétences, ses difficultés et faiblesses et les écarts par rapport aux objectifs poursuivis.

Outre les évaluations en fin de formation, nous avons développé une série d’exercices et d’outils qui permettent, tant aux participants qu’à l’équipe pédagogique, de visualiser les changements induits dans les représentations, les concepts, les attitudes et les comportements à travers, par exemple, des situations-problèmes et l’analyse d’incidents critiques.

Cependant, nous recherchions une méthode formalisée pour évaluer les effets induits par nos formations, adaptable à l’ensemble de nos formations, sans pour autant en gommer les spécificités. Analyser les effets, c’est identifier le type et le degré de changements suscités auprès des personnes. La formation peut atteindre trois degrés de profondeur :

- L’acquisition de connaissances, qui reposent sur les mêmes valeurs que les connaissances déjà acquises.

- Les attitudes et les valeurs qui servent de structure de pensée et d’organisation de vie et, enfin,

- Les comportements qui sont le fruit des valeurs [1].

Lorsqu’une action éducative ne vise que la transmission de connaissances, les changements sont majoritairement de type quantitatif. Par contre, si elle propose une réflexion sur les valeurs et les comportements, la formation provoque nécessairement un bouleversement, voire une rupture des cadres de références de départ des acteurs impliqués dans le processus. La continuité ne peut se maintenir car le regard sur le monde s’est complexifié. Évidemment, les attitudes sont travaillées préalablement aux comportements, sinon on reste uniquement dans la modélisation, la reproduction et le conditionnement d’une action.

Afin de concevoir cette méthodologie d’identification et d’analyse des effets, nous avons sollicité l’accompagnement du Groupe de recherche en médiation des savoirs, Grems, coordonné par Thierry De Smedt, au sein du Département de Communication de l’Université de Louvain.

Comme première étape, nous avons décidé de nous centrer plus particulièrement sur une de nos formations, la formation longue à destination des animateurs en éducation au développement « Eduquer au développement, une autre façon de coopérer ».

Mais qu’est-ce qui est mesuré ? La priorité est donnée aux représentations, définies comme des connaissances formelles, informelles et éléments affectifs, marquant des compétences effectives des stagiaires de la formation. Le Grems a mis en place un dispositif méthodologique afin de mesurer l’évolution des représentations des participants en 2003 et en 2004 [2].

Ensuite, à partir des résultats de cette démarche d’évaluation, Thierry De Smedt a animé, en 2005, une réflexion en interne d’ITECO en vue d’envisager l’application du modèle expérimenté à d’autres dispositifs de formations d’ITECO.

Etapes et approche méthodologique

Thierry De Smedt souligne que les concepteurs d’une action en éducation au développement doivent tenir compte de trois types d’effets éducatifs :

- Effets souhaités : à l’origine du projet, d’autant plus que, souvent, l’action a tendance à surplomber l’objectif.

- Effets potentiels : découlant d’une analyse des messages et des dispositifs : quels sont les effets susceptibles de se produire ?

- Effets probables : quels sont les effets qui vont réellement se produire à l’issue de la mise en œuvre de l’action éducative ?

Il s’agit donc de travailler à partir d’hypothèses (que supposons-nous comme effets ?) et d’indicateurs (à partir de quel événement observable reconnaît-on qu’un effet s’est produit ?). Cela exige une ouverture à voir l’inattendu, une disposition à constater des changements non prévisibles par l’action liés soit à l’expérience et au vécu des participants, soit à l’environnement social, culturel et politique des pratiques sociales. Il faut être attentif à ne pas élaborer des processus éducatifs à partir d’instruments linéaires qui visent des résultats trop définis.

L’approche méthodologique repose essentiellement sur une comparaison ante-post de l’état des représentations du public destinataire de la formation, par rapport aux objectifs de celle-ci. Cette comparaison produira une vision de l’évolution induite par la formation, quant à la qualité des représentations et leur intégration quantitative au sein du groupe bénéficiaire de la formation.

Il ne s’agit donc pas d’évaluer l’évolution des représentations liées à une thématique spécifique, par exemple, le commerce équitable, le développement durable, l’exploitation des travailleurs, etc. La définition des thématiques appartient aux formateurs eux-mêmes. La méthode d’évaluation devra rester adaptable aux différentes thématiques touchées par l’éducation au développement. Un des effets indirects de la production d’une méthode d’évaluation est précisément de forcer le concepteur d’une action éducative à spécifier les objectifs qu’il se donne.

Recueil des données et indicateurs

Concrètement, la méthode d’évaluation consiste à soumettre deux questionnaires aux participants : le premier au tout début de la formation et le second à sa clôture. Les deux questionnaires ont une structure analogue. On demande aux participants de décrire deux démarches éducatives, une bonne et une mauvaise, liées à un public et à un thème notoire du développement économique, politique et social. Le choix d’un thème notoire vise à ne pas induire de différences dues à une meilleure connaissance de la thématique de l’un ou l’autre questionnaire. Dans chaque questionnaire, il est demandé de justifier les critères pour dire qu’une démarche est préférable à l’autre.

Lors du dépouillement des questionnaires, on s’attache à observer les différences, dont on postule qu’elles résultent de l’effet éducatif de la formation. Les indicateurs de changements proposés dans l’analyse des résultats de l’évaluation sont :

- Se positionner personnellement, de manière critique, en faisant des choix.

- Prendre en compte un plus grand nombre d’éléments concrets liés à la mise en place des démarches d’éducation au développement (objectifs, moyens, stratégies éducatives, publics, effets...).

- Établir davantage de liens logiques augmentant la rationalité et la cohérence des scénarios éducatifs.

- Faire davantage référence à des modèles théoriques.

L’analyse des données

Les données comparent l’état initial et l’état final des compétences des participants à la formation suivant cinq catégories :

- Référence aux agents internes du système d’interaction propre au dispositif éducatif (le « paysage » du terrain éducatif).

- Cohérence intellectuelle du raisonnement (l’habileté méthodologique de l’éducateur).

- Prise en compte des schémas théoriques relatifs à l’action éducative (le patrimoine intellectuel de l’éducateur).

- Référence aux dispositifs éducatifs susceptibles d’être utilisés (la « boîte à outils » de l’éducateur).

- Référence aux agents contextuels d’interaction propre au processus éducatif (connaissance du contexte extérieur).

Vers la réappropriation

Les résultats de l’évaluation de la formation ont été utiles pour l’équipe pédagogique en charge. Ce modèle exerce une rétroaction sur la conception et la mise en œuvre de nouvelles sessions, plus particulièrement par l’identification des éléments à renforcer, mais aussi par une meilleure définition des profils de public destinataire.

La méthodologie d’évaluation est aussi très pertinente car elle est construite pour permettre sa réappropriation par les concepteurs éducatifs, sans devoir faire appel en permanence au centre universitaire de recherche.

Seul bémol, et qui n’est pas le moindre, elle exige une maîtrise de l’analyse par coefficient à travers des tableaux statistiques (symbolisés par des bâtonnets !)...Un grand nombre d’éducateurs n’ont intégré ni la compétence, ni le concept et encore moins sa juste valeur.

ITECO se lance dans l’aventure en testant, de manière autonome, cette méthode d’évaluation sur d’autres formations. Nous pourrons dès lors mieux percevoir les limites et atouts de cette méthode et constater si elle est a pu être réappropriée par les formateurs sans un soutien de spécialistes en la matière.

[1Didier Noye et Jacques Piveteau, Guide pratique du formateur, Insep Editions, 1999, p. 161.

[2Grems, Résultats de l’évaluation de la formation d’ITECO, 2003 et 2004.