Accueil > Revendications - propositions - actions > analyse du GMO - EOS PACA

analyse du GMO - EOS PACA

jeudi 12 décembre 2013

Word - 204.5 ko

INSTRUMENTATION / SUPPORTS EN ORIENTATION / GMO

Ce document présente de manière détaillée l’expression de psychologues suite à un travail conduit par le Pôle Orientation de la DR PACA / Service Politiques d’intervention de la Direction Appui / Réseau, dans le cadre de réunions techniques avec les psychologues. Cette première version présente :

-  une analyse de la fiche dématérialisée « prescription et suivi » de la prestation « Regard croisé », basée sur la pratique de cette prestation confrontée à la lecture de la fiche dématérialisée,

-  l’expression de la lecture et de l’analyse du GMO et d’une partie de l’instrumentation et/ou supports présentés dans le GMO et mobilisables dans le champ de l’orientation à Pôle emploi.

Cette restitution a à la fois vocation à :
-  apporter au Département orientation formation de la Direction de la sécurisation des parcours professionnels un éclairage sur la perception ou l’analyse de psychologues sur ces outils et supports ?

-  et à émettre des propositions d’ajustements par les mêmes psychologues et par le Pôle Orientation.

SOMMAIRE

A - Regard croisé (RGC) / fiche de "prescription et suivi" 3

B - GMO / Instrumentation - supports 3

1- « Test de personnalité selon le modèle en 5 facteurs » 4

2- « La méthode d’utilisation des tests psychotechniques » 5
21- « Liste des tests et des dimensions cognitives évaluées » 5
22- Correspondance entre les dimensions évaluées par les tests et les aptitudes de Fleishman 5
23- « Identifier les aptitudes cognitives et les tests correspondants à partir d’un référentiel métier » 6
24- « La méthode d’étalonnage des tests » 6
25- « La méthode intégrée appliquée à la restitution des tests psychotechniques de Pôle emploi : la grille d’entretien » 8

C- Pistes de propositions dans le cadre de l’ingénierie orientation 9

ANNEXE 10

Exemple de fiche de synthèse Regard croisé 10

A - Regard croisé (RGC) / fiche de "prescription et suivi"

Prestation très appréciée par les psychologues et les conseillers en termes de résultats pour le DE et le conseiller.

La fiche de "prescription et suivi" est disponible dans "l’espace réservé EOS" de l’Intranet.

A sa lecture, des constats ou hypothèses sont formulés : son utilisation, en l’état, ne semble pas pertinente en raison des éléments suivants :

 Dans la partie « prescription », il est demandé au conseiller :
-  de préciser la « Situation du demandeur (constat de situation, démarches et actions réalisées dans le cadre du suivi) »
-  voire de rédiger une « Formalisation de la demande (qui peut-être complétée par un contact entre le conseiller et le psychologue) »
Discussion / constats / hypothèses :
-  il n’est pas souvent aisé de formaliser une demande sur une situation de blocage, situation souvent peu ou pas identifiée ou qui peut poser problème pour le conseiller ou le DE dans le « simple » fait de la formaliser.
-  rédiger des éléments sur la situation du DE (constat de situation, démarches et actions réalisées dans le cadre du suivi) n’a pas forcément de sens pour cette prestation, voire peut créer un filtre d’écoute pour le psychologue. En effet, l’esprit même de la prestation réside d’une part dans le fait que le conseiller ne sait pas forcément « ce qui bloque ». et d’autre part que les déterminants du blocage n’ont pas forcément de lien avec les « démarches et actions réalisées dans le cadre du suivi ». Il est davantage question de dimensions psychiques, de variables personnelles ayant une incidence sur la dynamique de recherche d’emploi, et moins la dynamique elle-même.
-  l’échange téléphonique conseiller / psychologue doit se réaliser avec le consentement de la personne et son accord sur les éléments échangés.

 Dans la partie « Préconisations du psychologue du travail », il est demandé au psychologue :
-  de rédiger des préconisations
Discussion / constats / hypothèses :
-  il n’y a pas toujours de préconisations à l’issue de la prestation ou les préconisations peuvent là aussi être délicates à écrire.
-  le cœur du travail dans cette prestation est bien la mise à plat par la parole (la mise en mots), de situations, de représentations mentales, etc. qui constitue intrinsèquement des leviers de déblocage (dont la dédramatisation de situations personnelles ou professionnelles). Autrement dit, c’est le fait de verbaliser qui permet le déblocage (au mieux) et a minima la prise de conscience de ce qui pose question.
-  formaliser par écrit ce qui est dit peut poser problème, car le DE ne verbalise pas uniquement les aspects professionnels et la seule restitution des éléments professionnels n’explique pas à elle seule le diagnostique et les éventuelles préconisations.
-  avec un psychologue, beaucoup verbalisent des choses qu’ils ne disent pas à d’autres (ou sur un registre différent) et ne souhaitent pas la divulgation de ces éléments. Eléments pouvant être essentiels dans le déblocage de situations.
-  pour autant, cela ne veut pas dire qu’aucune restitution orale ou écrite ne peut être réalisée. Dans ce cas, elle doit respecter a minima les principes suivants :
o la décision de restitution écrite doit être à l’initiative du psychologue selon le contenu de la prestation : donc acceptation par le réseau qu’il peut ne pas y avoir de restitution : à expliciter.
o respect de la confidentialité et de la vie privée d’autrui
o accord écrit entre le DE et le psychologue sur ce qui peut être divulgué oralement ou par écrit (il manque d’ailleurs cette précision sur le support, ainsi que la signature du psychologue)
-  pour certaines situations et certains agents (conseillers ou psychologues) et lorsque cela est possible, la restitution orale est privilégiée (avec toutes les précautions émises ci-dessus) : elle permet de mieux comprendre ce qui se joue et favorise les évolutions, les avancées.

Propositions  Modifier la fiche "Prescription et suivi", dans le sens des propositions formulées ci-dessus.

Dans l’attente d’une évolution du support, utiliser une autre fiche de synthèse si restitution écrite : cf. exemple de fiche en annexe, page 10.

Si pas de restitution écrite, saisir l’entretien CRL indiquant uniquement la réalisation de la prestation.

B - GMO / Instrumentation - supports

1- « Test de personnalité selon le modèle en 5 facteurs »

Ce « test » pose des questions éthiques et méthodologiques :
-  Ethiques : appellation « test » : ce n’est pas un test à proprement parler , ni un questionnaire, mais une « grille d’auto positionnement ».
-  Méthodologiques : sa construction, son interprétation et son exploitation sont plus que subjectives. En effet, les items proposés ne peuvent être analysés, interprétés que sous un angle subjectif car aucun lien en termes de norme comparative (étalonnage). Par ailleurs, au vu de la « transparence » des items (lié à la construction de l’outil), les DE peuvent tout à fait – volontairement ou non – adopter des modes de réponses en termes de prédiction normative ; autrement dit : « ce que je pense qu’il est bon de répondre en fonction de ce que je pense que le conseiller ou psychologue attend de moi comme type de réponses, ou selon ce que je crois comme "vrai" du métier ou secteur visé. Cela peut aussi amener à la construction de stéréotypes d’un côté comme de l’autre. C’est comme si on pensait que les DE étaient clairvoyant sur eux-mêmes et sincères dans leurs réponses, sur ce qu’ils sont, ce qu’ils souhaitent, etc.

En l’état, les psychologues ne voient pas la plus value de cet outil.

Propositions  Privilégier l’utilisation du NEO-PI-R.

Intituler l’outil : "Grille d’auto positionnement".

Modifier la construction de la grille d’auto positionnement en fusionnant les 5 parties (5 facteurs) et en ne regroupant pas les items par facteur.

2- « La méthode d’utilisation des tests psychotechniques »

21- « Liste des tests et des dimensions cognitives évaluées »

Liste des tests : Le GMO présente la liste des tests ex AFPA comme outils valides et dont seul l’étalonnage est à revisiter pour une utilisation différente de celle permettant de poser des hypothèses de réussite à des titres du ministère de l’emploi et proposés à l’afpa. Or, la validité scientifique de certains de ces tests (SPE 136, SPE 200 par exemple) n’a jamais été clarifiée. Par ailleurs, d’anciens tests (également ex AFPA) sont présentés (E51c, par exemple), alors que l’INOIP (ex bureau d’étude orientation de l’afpa) les disait obsolètes (surtout par rapport à l’ancienneté des étalonnages).

Proposition  Supprimer de la liste les tests non réellement validés par l’afpa.

Nature de la ou des dimensions évaluées : sont parfois mentionnées ici les appellations génériques indiquées notamment sur les grilles de correction des tests et non les véritables dimensions évaluées.
Par exemple :
-  Pour le SPE 150 : « calcul de longueur » évalue en réalité le « raisonnement (hypothético) déductif » ;
-  Pour le SPE 200 « résolution de problèmes de calcul » évalue en réalité le « raisonnement mathématique » ;
-  Pour le SPE 129-1 « Logique concrète » évalue en réalité la « compréhension » et/ou la « connaissance » (il s’agit par ailleurs d’items à forte composante perceptive) ; « dessin » évalue en réalité l’aptitude à la « Visualisation spatiale » et la « connaissance des conventions élémentaires du dessin technique ».
-  Etc.
Il est essentiel d’indiquer la terminologie adéquate, avec exactitude, afin de pouvoir poursuivre le travail d’investigation au plus près de la réalité et ainsi éviter les erreurs en cascade ou les mauvaises interprétations qui pourraient en résulter.

Propositions  Renommer le - cas échéant - les dimensions évaluées.

Ou établir une correspondance entre ces appellations n’indiquant pas véritablement les dimensions évaluées et celles réellement évaluées.

De ce fait, il en résulte des omissions par endroit : certaines dimensions évaluées ne sont pas toutes indiquées.
Par exemple :
-  Pour le SPE 129-1, la dimension "dessin" porte en fait sur deux dimensions : « Visualisation spatiale » et « Connaissance des conventions élémentaires du dessin technique ». De ce fait, un biais existe : on ne peut pas affirmer que les items choisis permettent de mesurer les seules aptitudes à la « visualisation spatiale », car intègrent également les « connaissances des conventions élémentaires du dessin technique ». Ainsi, le diagnostic des aptitudes à la « visualisation spatiale », est donc biaisé.

Proposition  Compléter le tableau par les dimensions manquantes .

Modifier les items de certains tests (a minima du SPE 129-1)

22- Correspondance entre les dimensions évaluées par les tests et les aptitudes de Fleishman

Dans les « aptitudes correspondantes », des omissions apparaissent dans les correspondances entre les aptitudes évaluées par les tests ex afpa et les aptitudes de Fleishman.
Par exemple :
-  Il manque certaines aptitudes dans les correspondances du SPE 150 : « calcul de longueur », la correspondance est : « facilité à manier les chiffres » et « visualisation ». Il manque a minima le « raisonnement déductif ».

Proposition  Compléter le tableau par les dimensions manquantes.

23- « Identifier les aptitudes cognitives et les tests correspondants à partir d’un référentiel métier »

Il est demandé à chaque psychologue de réaliser un travail de repérage et d’évaluation des aptitudes cognitives mises en œuvre dans un métier donné. Ce repérage tel qu’il est décrit implique certainement un temps de travail conséquent, avec un impact certain sur le temps total de réalisation du CPF. Par ailleurs, cela relève de l’ingénierie (DOF, bureau d’études) et non du GMO (même remarque pour § « La méthode d’étalonnage des tests »).

Choisir le référentiel métier : très opérationnel, mais la liste des sites internet permettant d’obtenir les référentiels métiers est à ce jour très limitée : il manque notamment le site du Répertoire national des certifications professionnelles (RNCP) où pour chaque certification, est résumé le référentiel d’emploi ou les éléments de compétence en lien avec la certification consultée, et est parfois précisé les liens internet vers des sites présentant des référentiels métiers (ONISEP, CNDP, par exemple).

Proposition  Compléter avec d’autres liens Internet vers des sites tels que le RNCP, l’ONISEP, le CNDP, les OPCA, les Branches professionnelles, l’APEC, etc.

Extraire les aptitudes cognitives du corps de texte du référentiel métier en repérant les éléments se rattachant aux aptitudes cognitives & Identifier les aptitudes cognitives (taxonomie de Fleishman) correspondant aux éléments tirés du corps de texte du référentiel métier : dans l’exemple du soudeur, les activités et les aptitudes sont ou semblent mises sur le même plan d’importance pour une réussite en formation et dans l’exercice du métier… cela n’est pas si évident ou manque d’explication. Une pondération ne devrait elle pas être réalisée ?

Proposition  Proposer de pondérer les aptitudes dans cette partie pour en tirer des interprétations relatives plus fines.

Par ailleurs, ce travail d’identification, d’extraction et de correspondance est laissé à la subjectivité de chaque psychologue. Ne devrait-il pas lui aussi relever d’un travail d’ingénierie (DOF, bureau d’études) ou de consignes plus explicites ?

Proposition  Capitaliser ces données en les faisant remonter au DOF pour analyse (comparaison avec les remontées des psychos au national sur chaque métier) et classification en vue de constituer une « base de données référentiels d’aptitudes des métiers », en lien avec les épreuves d’évaluation.

A noter que ce même travail d’identification, d’extraction et de correspondance peut amener à accroitre significativement la durée du CPF ou du moins le temps de travail des psychologues sur cette activité.

24- « La méthode d’étalonnage des tests »

La communication : comme l’étalonnage n’est pas encore réalisé, dans cette version du GMO il est demandé aux psychologues de contribuer à sa construction : c’est donc davantage une phase d’ingénierie que la mise en ligne d’outils étalonnés, donc opérationnels : or, le GMO a pour vocation de « fournir aux conseillers et aux psychologues du travail de PE, des supports, méthodes et outils pour mettre en œuvre l’orientation professionnelle ». Le processus d’étalonnage devrait être proposé via un autre support, d’autres modalités, afin qu’il n’y ait pas d’ambigüité sur la raison d’être du GMO.

Proposition  Communiquer via un document différencié sur la mobilisation des psychologues dans le cadre de cette ingénierie.

Les critères de définition de la population de référence : absence de précision quant à la caractérisation de la qualification professionnelle : les critères intègrent ils le type de certification (ministères valideurs, diplômes, titres, CQP…) et de parcours de certification (formation initiale, continue, en alternance, VAE) ? Il est important de distinguer ces variables compte tenu des différences existantes entre les différentes certifications et les voix de certification en termes d’ingénierie pédagogique et/ou de processus de certification : cela ne renvoie pas aux mêmes aptitudes, aux mêmes processus motivationnels, aux mêmes exigences, aux mêmes contextes, etc.

Proposition  Intégrer aux "critères de définition de la population de référence" le "type de certification" (ministères valideurs, diplômes, titres, CQP…) et de "parcours de certification" (formation initiale, continue, en alternance, VAE).

La constitution de l’échantillon de référence : aucune indication n’est donnée quant à l’interprétation rigoureuse des résultats individuels comparés à l’étalonnage (futur) : comme la population de référence est constituée de « personnes ayant une expérience professionnelle (supérieure ou égale à 2 ans) dans un métier donné, avec validité du code ROME (validité 2 & 3 uniquement) et validation d’une formation qualifiante correspondant au code ROME », quelle que soit l’analyse statistique des scores, toutes les personnes de l’échantillon sont dans la situation d’avoir obtenu une certification (diplôme, titre professionnel, autres certifications) et d’avoir exercé au minimum 2 ans : que signifiera alors le résultat d’un DE s’il atteint le score minimum obtenu par le quantile inférieur de la population de référence ? Comment pourra-ton interpréter son score ? Quelles indications son score nous donnera-t-il de son écart à la moyenne, sachant que la population de référence est composée de « tous les DE ayant une qualification et une expérience professionnelle » dans le métier que vise le candidat ? La seule indication possible : le score correspond à X% des DE ayant obtenu une certification professionnelle et ayant exercé au moins deux ans dans le métier visé.
Par exemple :
-  Avec un étalonnage en 5 classes, un score brut "X" d’un DE peut par exemple correspondre au 24,2% de la classe 2 de la population de référence qui a obtenu le même score : que peut-on en faire ou dire ou inférer ? Uniquement que le DE a obtenu un score inclus dans les 24,2% de cette population. Rien dans son score ne permet d’inférer autre chose, que ce soit en termes de pronostic (ce n’est d’ailleurs pas l’objet de ces tests) ou de diagnostic.

Quid des personnes possédant tous les critères, mais qui ont une expérience – certes significative (mini 2 ans) – mais qui est éloignée dans le temps : par exemple, quelqu’un qui a 10 ans d’expérience + certification dans ce métier + validation ROME 2 ou 3, mais qui a ensuite exercé sur d’autres emplois / métiers pendant X années ?

Quelle volumétrie est prévue par rapport aux métiers à étalonner (combien de métiers visés) ? Autrement dit, quelle sera la « maille » ou le « degré » de précision sur les métiers : étalonnage basé sur des métiers ou des secteurs ou des sous secteurs (au regard de la structuration des codes ROME : première lettre = secteur + 2 chiffres suivants = sous secteur + 2 chiffres suivants = métier) ?

En synthèse, comment, sur quelle indicateurs psychométriques, « le bénéficiaire, accompagné du psychologue, pourra-t-il être en capacité de définir des pistes d’actions à réaliser pour la mise en œuvre de son projet professionnel » à partir de ce seul constat ?

Propositions  Apporter davantage d’explication sur l’exploitation des résultats d’un individu par rapport à ceux obtenus par une population de référence.

Pouvoir situer les résultats d’un individu à la fois par rapport à ceux obtenus par la population de référence du métier visé et par rapport à d’autres populations de référence (totalité de l’échantillonnage).

Dans l’établissement de l’étalonnage, intégrer à l’échantillon, les DE sans qualification et/ou sans expérience professionnelle afin de pouvoir situer les résultats des futurs candidats (une fois l’étalonnage établi) à ceux de la population de référence du métier visé et à ceux sans qualification et/ou sans expérience.

25- « La méthode intégrée appliquée à la restitution des tests psychotechniques de Pôle emploi : la grille d’entretien »

A- Grille d’entretien de passation de test & B- Grille d’entretien de restitution des résultats : dans ces deux parties, le GMO propose parfois certaines approches, difficiles à mettre en œuvre dans la réalité opérationnelle, inadaptées aux situations / à la réalité des personnes reçues / des situations vécues en agence.
Par exemple :
-  « il peut être judicieux, à l’issue de la passation du test, de donner des explications (voir un document récapitulatif) sur les dimensions évaluées de manière à ce que la personne puisse y réfléchir avant la restitution des résultats. »
-  « La personne pourra être invitée à exprimer par écrit son auto-perception des dimensions évaluées »
-  « Si le bénéficiaire a profité de l’intersession pour réfléchir à cette évaluation, il aura peut-être produit un écrit présentant son auto-perception des dimensions évaluées… »

Proposition  Revoir cette partie en termes de proposition méthodologique adaptée à la réalité opérationnelle.

Certaines précisions sont également à éviter.
Par exemple :
-  « Si le bénéficiaire a profité de l’intersession pour réfléchir à cette évaluation, il aura peut-être produit un écrit présentant son auto-perception des dimensions évaluées. Dans ce cas le psychologue photocopiera le document afin que chacun travaille sur les mêmes documents, cela évitera un risque de désinvestissement de la part du bénéficiaire qui pourrait se contenter de donner son écrit au psychologue et romprait ainsi la co-construction. »

Proposition  Supprimer cette partie.

La restitution des résultats : dans le GMO, les résultats du DE aux tests devraient être mis en relation avec l’étalonnage sur une population de référence afin de pouvoir formuler des hypothèses sur le parcours et sa sécurisation. Or, dans l’attente de l’établissement de cette référence statistique, le GMO précise que « pour chacune des dimensions évaluées, la perception du bénéficiaire est la référence à laquelle on compare le résultat obtenu ». D’une part, il ne précise pas que cette pratique doit se faire dans l’attente de l’établissement de l’étalonnage, d’autre part, cette approche est véritablement sujette à caution, car seule la subjectivité du DE fait référence ! C’est comme si on pensait que tous les DE étaient clairvoyants sur eux-mêmes, capables d’inférer leurs propres résultats à ceux de la population de référence et systématiquement sincères dans les réponses données sur eux-mêmes…
Dans sa rédaction, le GMO fait également apparaitre des contradictions sur ce thème puisqu’à maintes reprises, il est précisé que « l’étalonnage est l’élément qui va permettre de situer les résultats d’un individu par rapport à ceux obtenus par une population de référence ». Et là il est question de tout autre chose.

Aussi, une telle approche dans la restitution de résultats à des tests psychotechniques ne peut s’opérer de cette manière, car bien trop sujette à la subjectivité, donc aux erreurs.

Propositions  Apporter davantage d’explication sur la perception du bénéficiaire comme seule base de référence et la manière dont l’exploiter dans une perspective de sécurisation du parcours d’accès à l’emploi via la formation, en l’absence d’étalonnage.

Proposer une alternative dans l’attente de l’établissement de l’étalonnage :
-  achat de tests (NV5 / NV7 ; GAT ; autres ?)
-  privilégier la seule référence valide à ce jour : le « Guide du positionnement » de l’afpa actualisé.

C- Pistes de propositions dans le cadre de l’ingénierie orientation

Afin de contribuer à l’optimisation de l’instrumentation du GMO et de la rédaction du GMO lui même, un travail collaboratif pourrait être mis en place.

En amont et dans cette perspective, il peut être opportun de :
-  Constituer un groupe de travail régional sur cette partie « Méthode d’utilisation des tests psychotechniques » du GMO afin de poursuivre ce repérage des éléments à faire évoluer, de formuler des propositions de réaménagement de la méthodologie / des outils / des supports, etc..
-  Proposer au DOF si son responsable ou quelqu’un de son équipe peut intervenir en région sur ce volet pour apporter les éventuelles explications complémentaires et recueillir les remarques / conseils des psychologues afin de faire évoluer le GMO.

Concernant spécifiquement la construction des outils psychométriques, ce travail collaboratif pourrait se réaliser entre :
o le Département Orientation Formation / Direction de la sécurisation des parcours professionnels de la Direction Générale de Pôle emploi,
o des psychologues de Pôle emploi de différentes régions et possédant une expertise en psychométrie
o des psychologues différentialistes reconnus et exerçant au sein d’universités et/ou de laboratoires de recherche et/ou de sociétés d’édition d’outils d’évaluation des personnes (ECPA, Hogrefe, OPP, SHL, etc.).

ANNEXE

Exemple de fiche de synthèse Regard croisé

Regards Croisés / Entretien conseil

Bénéficiaire Équipe d’orientation spécialisée
Nom, Prénom(s) :
Inscrit(e) au pôle emploi de :
Identifiant n° :
Adresse : Agence de Services Spécialisés de à préciser, Equipe d’Orientation Spécialisée, adresse à préciser
Correspondant(e)s Pôle emploi
Conseiller :
Nom, Prénom(s) :
Pôle emploi :
Psychologue du travail réalisant l’entretien conseil :

N° ADELI :

Date(s) d’entretien(s) :  ;

Fiche de synthèse

Observations éventuelles du/de la bénéficiaire :

Date :

M/Mme 
0 valide la présente synthèse.
0 autorise le-la psychologue à transmettre ce document au conseiller prescripteur mentionné ci-dessus. M/Mme , Psychologue Pôle emploi.

Signature : Signature :

| | Plan du site | mention légale | Suivre la vie du site RSS 2.0 SPIP