La méthodologie
Le questionnement initial
S'attacher à dresser un état des lieux des connaissances des élèves dans le secondaire devrait permettre de répondre aux questions suivantes :
Que savent les élèves en arrivant en 6ème ?
Comment évoluent leurs connaissances tout au long de la scolarité dans le secondaire ?
Quelles sont leurs représentations ?
Peut-on déceler quelles sont les parts respectives de l'école et des pratiques domestiques dans l'acquisition des connaissances et compétences info-documentaires ?
Les lycéens de la filière générale et technologique et les lycéens de la filière professionnelle ont-ils les mêmes connaissances en information-documentation ?
Quelles pistes didactiques et pédagogiques proposer pour améliorer l'enseignement de l'information-documentation ?
Les élèves sortant du cursus du secondaire en France ont-ils des connaissances différentes de celles des étudiants entrant dans le supérieur ?
Les hypothèses de travail
À partir des comparaisons possibles avec les résultats des enquêtes CREPUQ et EDUDOC, le but était ici, rappelons-le, de repérer d'éventuelles différences entre les élèves de l'enseignement secondaire en France et les étudiants québécois et belges, de relever des éléments nouveaux en termes de connaissances et de besoins de formation et, enfin, de remarquer l'émergence de questions nouvelles.
Nos hypothèses de départ étaient les suivantes :
Les connaissances des élèves progressent de l'entrée du collège à la sortie du lycée ;
Comme celles des étudiants québécois et belges des enquêtes CREPUQ et EDUDOC, les connaissances et compétences des élèves du secondaire sont assez faibles et lacunaires ;
Si certains savoirs et savoir-faire se développent, ils sont assez peu conscientisés et ne relèvent pas d'un processus de conceptualisation et de construction des apprentissages. Ce sont des savoirs pratiques plus que des savoirs réflexifs. Les élèves réussissent donc mieux les questions mobilisant des connaissances de type procédural que de type déclaratif ;
La part des représentations et des imaginaires reste très prégnante, comme ont pu le montrer les travaux de thèse d' Anne Cordier[1].
Les niveaux scolaires visés
Afin de pouvoir mener une étude sur l'évolution des connaissances des élèves tout au long de la scolarité secondaire, quatre niveaux ont été testés :
Au collège :
en 6ème, les élèves ont été questionnés en début d'année, avant la mise en place de toute formation par les professeurs documentalistes. Il s'agit ici de savoir quel bagage, ils ont acquis à l'issue de la scolarité primaire où, comme ont pu le prouver les travaux d' Annette Béguin-Verbruge[2], un certain nombre d'apprentissages plus ou moins formalisés ont été réalisés.
les élèves de 3ème ont été questionnés en fin d'année scolaire afin d'évaluer les connaissances acquises au collège. Si des formations sont quasi systématiquement réalisées en 6ème, elles sont beaucoup plus aléatoires pour les autres niveaux du collège. Que reste-t-il des apprentissages réalisés ? Quelle progression des connaissances se dessine entre l'entrée et la sortie du collège ?
Au lycée :
l'enquête a été proposée à l'entrée en 2nde. Le questionnaire utilisé est le même qu'en 3ème, à une question près, dans la mesure où le niveau des élèves est très proche. Par contre, la cohorte d'élèves étant répartie entre lycée général et technologique (LGT) et lycée professionnel (LP), il est intéressant de tester et de comparer les deux cycles afin de pouvoir cibler les particularités et les besoins spécifiques à chacun d'entre eux et de suivre l'évolution des connaissances.
l'enquête a été proposée en fin de Terminale, en distinguant le LGT du LP, afin de pouvoir déterminer avec quel bagage de connaissances les élèves quittent l'enseignement secondaire. Celui-ci est-il suffisant pour leur permettre d'affronter leur poursuite d'études ou leur entrée dans le monde professionnel ? L'intérêt d'une évaluation en fin de Terminale est aussi de pouvoir établir, quand cela est possible, un comparatif avec les enquêtes CREPUQ et EDUDOC réalisées en première année d'université.
La construction du questionnaire
Les enquêtes de référence
La première enquête a été réalisée au Québec en 2003. C'est une « Étude sur les connaissances en recherche documentaire des étudiants entrant au 1er cycle dans les universités québécoises » qui a été menée, sous la direction de Diane Mittermeyer et Diane Quirion, par le groupe de travail sur la formation documentaire au sein de la Conférence des Recteurs et des principaux des universités du Québec (CREPUQ).
La seconde enquête a été réalisée en 2008 en Belgique par le groupe EDUDOC et la commission « Bibliothèques » du Conseil interuniversitaire de la communauté française de Belgique (CIUF), sous la direction de Paul Thirion et Bernard Pochet : Quelles compétences des primo-arrivants dans l'enseignement supérieur ?
Ces deux enquêtes, menées en première année du cycle universitaire, utilisent le même questionnaire, offrant ainsi une base de comparaison lors de l'analyse des résultats. Cette comparaison géographique met en scène deux pays, mais également deux continents. Elle permet également de mesurer l'évolution de l'acquisition des connaissances et compétences sur un intervalle de quatre années.
L'enquête CREPUQ, ayant servi de modèle à EDUDOC, peut être considérée comme un prototype. Elle a d'ailleurs été réutilisée par d'autres enquêtes menées sur le territoire français, telles que celle de Claude Poissenot en 2004[3] ou celle de Marie-Noëlle Aubert en 2005[4]. C'est sur cette base commune de réflexion que la FADBEN a souhaité élaborer son enquête.
Cependant, le nombre très important d'items portant sur la maîtrise de l'information, et donc à portée procédurale, s'intéressant peu aux connaissances en information-documentation, nous a conduits à remplacer certaines questions. Ce nouveau questionnaire comprend 30 questions au lycée, 29 en 3ème et 28 en 6ème, pour une durée de passation limitée à 1h.
La constitution du questionnaire
Afin de pouvoir établir des comparaisons avec les enquêtes précédentes du CREPUQ et d'EDUDOC, l'enquête de la FADBEN a repris la plupart des 20 questions du questionnaire original du CREPUQ. C'est le cas pour 13 questions pour lesquelles il n'a suffi que d'une légère reformulation pour tenir compte, ou bien du niveau des élèves interrogés, en adaptant les énoncés quand il le fallait, de la 6ème à la Terminale, ou bien du contexte français ou, enfin, pour les actualiser.
Deux autres questions provenant du CREPUQ ont été réorientées afin qu'elles soient recentrées sur des notions plus pertinentes et plus actuelles (Questions 3 et 21). Enfin, cinq questions ont été abandonnées, soit parce qu'elles semblaient redondantes et risquaient d'alourdir le questionnaire (Questions 6, 9 et 10), soit parce qu'elles ne semblaient plus suffisamment d'actualité (Question 16), soit encore pour donner lieu à deux reformulations permettant de tester deux notions, l'indexation automatisée et le classement des résultats (Question 8).
À ces 15 questions adaptées ou réorientées ont été ajoutées 15 questions portant sur les notions suivantes :
Ces 15 nouvelles questions témoignent d'un souci de réactualisation des objets de savoirs en information-documentation et d'un élargissement de l'approche procédurale propre à la logique de la maîtrise de l'information (information literacy) à une approche déclarative caractéristique de la culture de l'information des élèves. Le questionnaire obtenu est donc composé pour moitié du questionnaire de référence, auquel il emprunte 15 questions, et pour moitié de nouvelles questions.
Deux questions, du fait de leur difficulté, n'ont pas été proposées aux classes de 6ème et une en 3ème (voir tableau ci-après).
Le regroupement des 30 questions en 7 notions organisatrices
S'interroger sur ce que savent les élèves dans le domaine des savoirs de l'information-documentation présuppose que nous ayons une idée de ce que recouvre ce domaine de connaissances. Il s'agit d'avoir une représentation préalable du domaine et de sa déclinaison en termes de savoirs scolaires de l'information-documentation. Pour cela, nous sommes partis des travaux et de l'expertise acquise par la FADBEN depuis sa création en ce qui concerne la didactique et l'enseignement de l'information-documentation. « Les savoirs scolaires de l'information-documentation[5] » ont ainsi été structurés dès 2007. La publication que la revue Mediadoc a consacrée à ce travail a servi de référence au choix des notions à évaluer dans le questionnaire, ainsi qu'au regroupement de celles-ci en 7 notions organisatrices (voir le Tableau 3 ci-après) :
Information
Document
Source
Indexation
Espace informationnel
Recherche d'information
Exploitation de l'information.
L'inventaire de ces notions organisatrices a donc permis, d'une part, d'organiser les savoirs testés et, d'autre part, de compléter les compétences procédurales évaluées dans les enquêtes CREPUQ et EDUDOC par des connaissances déclaratives.
Description de l'échantillon
L'échantillon ciblé
L'enquête est réalisée sur un échantillon d'établissements scolaires dont le professeur documentaliste s'est porté volontaire pour faire passer l'enquête, dans son établissement, à deux classes de chaque niveau concerné.
Pour la constitution de l'échantillon, une étude a été conduite pour le rendre le plus représentatif possible. Il ressort de cette étude que si le taux de représentativité d'une population de référence est supérieur à 5% dans l'enseignement supérieur, là où les effectifs sont relativement réduits, il tombe aux alentours de 1% pour le primaire ou le secondaire lorsque cette population se chiffre en millions d'élèves. La présente enquête a donc retenu ce taux de représentativité, estimé suffisant dans les enquêtes nationales et internationales (PISA 2009). En se basant sur des données statistiques de sources institutionnelles, il a été possible de répartir de manière significative ces effectifs selon les niveaux à étudier et au pro rata du nombre moyen d'élèves par classe de collège, de lycée général et technologique et de lycée professionnel.
Mais le critère du nombre d'élèves testés ne pouvant suffire pour garantir cette représentativité, il a également fallu croiser ces données avec un échantillon d'établissements représentatifs. Nous avons eu recours à la méthode des quotas pour stratifier au mieux ces établissements à partir de catégories comme le type, la taille et le statut public ou privé.
Cette stratification a permis de déterminer l'échantillonnage cible suivant :
L'échantillon réalisé
Cet échantillon idéal n'a pas pu être totalement réalisé, dans la mesure où la participation ne pouvait se faire que sur la base du volontariat des professeurs documentalistes s'engageant dans le projet et de l'accord des chefs d'établissement.
L'échantillon réel qui a servi de base à l'enquête est ainsi constitué :
La significativité de l'enquête
Au regard de l'échantillonnage ciblé, qui s'est révélé fort ambitieux lorsqu'il s'est agi de solliciter les élèves des lycées professionnels, l'enquête réalise 36,2% de l'effectif prévu, ne considérant que le nombre d'élèves ayant validé leur questionnaire. Cette proportion représente 8847 questionnaires, nombre à partir duquel nous estimons avoir atteint le seuil de significativité nécessaire.
Il reste que la répartition n'est pas suffisamment équilibrée. Deux niveaux sont ainsi placés sous la barre du millier d'élèves : la Terminale LGT et la Terminale LP. Le fait de devoir placer le test en fin de cursus, et donc en période d'examens importants, a rendu les passations difficiles. C'est également le cas pour le niveau 3ème, lequel livre toutefois 1076 questionnaires complets.
La participation des établissements, quant à elle, est plutôt satisfaisante puisque sur les 246 sites du panel ciblé, 235 ont réellement pu contribuer à l'enquête, soit une proportion de 95,5% (voir Annexe 4, tableau 10).
Le traitement des résultats
L'extraction des données
Le nombre de questionnaires reçus est de 9167, dont 8847 complets et 320 partiels. Les questionnaires partiels, dont certaines questions ont pu être enregistrées lors de la passation et d'autres pas, ont été retenus afin d'exploiter les questions complètes dans la mesure où le logiciel de traitement des données le permettait. Certains résultats se basent par conséquent sur des nombres légèrement supérieurs à 8847.
La répartition des questionnaires complets et partiels selon les niveaux est la suivante :
La structuration des données
L'outil de traitement des données, Limesurvey, a permis d'effectuer un traitement des résultats, question par question, formalisé via des tableaux chiffrés et des diagrammes circulaires (voir Annexe 2).
Pour appuyer l'analyse de chaque question, ces données sont regroupées afin de comparer les résultats des différents niveaux pour chaque question. Lorsque cela est nécessaire à une compréhension plus poussée, des diagrammes et des graphiques réalisés à partir de données sélectionnés sont présentés.
Les problèmes rencontrés
Les résultats de la question 19 portant sur l'« Éthique de l'information » n'ont pu être traités, par conséquent cette question été retirée a posteriori de l'enquête. Il s'agissait d'une question à choix multiple mais dont la réponse exacte consistait à cocher les quatre propositions. Le logiciel ne permettant pas d'isoler les élèves ayant satisfait à ces quatre conditions, les résultats n'ont pas été jugés exploitables. Toutefois, le thème de l'éthique de l'information est également abordé dans la question 24, qui s'intéresse au plagiat.
La question 21, portant sur le « Statut de la source, » est amputée des résultats pour le niveau 2nde car la question a été programmée par erreur à choix multiple pour ce niveau, alors qu'elle est à choix unique pour les autres niveaux. Ce niveau n'a donc pas été pris en compte dans l'analyse. À noter que la notion « Source » est également abordée par la question 7.
La présentation des résultats
Les 30 questions étant regroupées en sept notions organisatrices (voir tableau 3), leur présentation suit la même logique. À l'intérieur de chacune des notions organisatrices, les questions suivent l'ordre numérique, lequel est aléatoire.
Pour chaque question, la présentation de l'analyse suit le plan suivant :
Présentation de la question : rappel de l'énoncé de la question et des propositions de réponses ;
Connaissances évaluées et enjeu de la question : la mise en perspective de la question permet de dégager la compétence ou la connaissance qui est évaluée et de proposer des hypothèses de lecture des résultats ;
Résultats : les données brutes sont affichées dans un ou plusieurs tableaux, accompagnés si besoin est de diagrammes et de graphiques qui distinguent les résultats obtenus pour chaque niveau ;
Analyse des résultats : les résultats sont commentés avec les nuances nécessaires pour évaluer l'acquisition par les élèves des connaissances ciblées ;
omparaison avec les enquêtes CREPUQ et EDUDOC : dans un cas sur deux, les questions de l'enquête FADBEN reprennent des questions traitées par ses prédécesseurs. L'analyse peut ainsi être conduite sur un intervalle de 10 années et tirer des conclusions quant à l'articulation qui existe entre le secondaire et le supérieur.
