• Panier d’achats
Connexion

Connexion

home page banner blank

Performance Audit Resources

Our resources help public sector performance auditors build capacity and strengthen accountability. These resources include CCAF-FCVI Audit News, Training, Research & Methodology and Events & Presentations.
Read More...

PAC/Oversight Resources

CCAF’s oversight program supports oversight committee members and their support staff. We provide research, material and professional development workshops to oversight committees both in Canada and abroad.

Our support enables parliamentarians to become familiar with their role and improve the effectiveness of their committees. This includes information on understanding performance audit, and how these audits can help improve public administration.
Read More...

International Development Program

CCAF works with Canadian partners to provide capacity building support for the Supreme Audit Institutions (SAIs) and parliamentary oversight committees of selected developing countries.
Read More...
  1. Performance Audit Resources
  2. PAC/Oversight Resources
  3. International Development Program

Présentation des résultats obtenus à partir d’un échantillon dirigé

La présentation de résultats issus d’un échantillon dirigé appelle à davantage de prudence par rapport à un échantillon généralisable. La stratégie d’échantillonnage généralisable est généralement bien connue, de même que sa finalité, c’est-à-dire mesurer le niveau ou l’ampleur de certaines caractéristiques d’une population. C’est même probablement parce que cette méthode est bien connue que les résultats obtenus à partir d’échantillons dirigés sont présentés de manière erronée, comme s’ils provenaient d’un échantillon généralisable. Les résultats tirés d’un échantillon dirigé ne permettent pas de faire d’extrapolation à l’ensemble de la population. Ainsi, la description de la méthode d’échantillonnage dirigé choisie doit toujours expliciter clairement cette limite.

Les résultats qui peuvent être présentés dépendent intégralement du mode de prélèvement de l’échantillon. Chaque méthode d’échantillonnage dirigé introduit un biais dans l’échantillon dans le but de tirer des enseignements spécifiques sur une population. La présentation des résultats doit clairement indiquer cet objectif et s’y limiter expressément.

Pour guider leur présentation des résultats obtenus à partir d’un échantillon dirigé, les auditeurs peuvent se poser six questions, qui ont trait aux méthodes employées et aux éléments probants :

  1. Comment l’échantillon a-t-il été prélevé?
  2. Quel type d’information cet échantillon était-il censé fournir?
  3. Que recherchaient les auditeurs?
  4. Qu’ont trouvé les auditeurs?
  5. Que peut-on déduire des résultats compte tenu de la façon dont l’échantillon a été prélevé?
  6. Quelles autres informations corroborent cette déduction?

Comment l’échantillon a-t-il été prélevé?

Si l’échantillonnage généralisable est généralement bien compris, il n’en va pas de même pour l’échantillonnage dirigé. Cela s’explique en partie par le fait que les méthodes d’échantillonnage dirigé sont bien plus nombreuses (voir l’annexe 4 pour une description de différentes méthodes). En effet, cette variété influe de manière considérable sur la façon d’interpréter les résultats. C’est pourquoi il est important de décrire aux lecteurs du rapport d’audit la façon dont l’échantillon dirigé a été prélevé, en des termes simples.

Quel type d’information cet échantillon était-il censé fournir?

La bonne utilisation d’un échantillonnage dirigé repose sur l’explication de la logique reliant la méthode de prélèvement et les types de conclusions que l’on peut formuler. Les auditeurs doivent expliquer en quoi leur méthode de prélèvement leur permet de tirer logiquement une conclusion donnée. L’encadré 4 présente deux exemples de description.

Encadré 4 – Exemples théoriques de descriptions de méthodes d’échantillonnage et de leur potentiel

Exemple 1 – Prélèvement d’un échantillon dont les cas présentent la plus grande variation possible

La création d’un échantillon incluant la plus grande variation de cas possible permettra à l’audit de conclure qu’un risque potentiel existe dans quasiment tous les segments de la population, et qu’il n’est pas restreint à un segment étroit comme on le supposait.

Exemple 2 – Utilisation d’un seul cas index pour montrer l’existence d’une menace grave

Les ports USB des ordinateurs du gouvernement sont généralement libres d’accès, ce qui est susceptible de causer l’introduction de virus informatiques dans l’ensemble des systèmes informatiques gouvernementaux. Nous avons repéré un cas indiquant un risque réel. Dans ce cas, l’utilisateur possédait de bonnes connaissances en matière de sécurité informatique et son ordinateur était raisonnablement protégé par logiciel. Malgré ces dispositions, le système a pu être infecté à cause de ces ports USB librement accessibles et l’utilisation courante de clés USB.

Que recherchaient les auditeurs?

Le rapport doit décrire le type et l’étendue de l’examen. L’examen des cas dans le cadre d’un échantillonnage dirigé est généralement plus large et approfondi qu’avec un échantillonnage généralisable.

Qu’ont trouvé les auditeurs?

Le rapport doit fournir une description objective des constatations. À titre de bonne pratique, il est recommandé aux auditeurs d’éviter de présenter des taux ou des proportions statistiques obtenus à partir d’un échantillon dirigé, en particulier lorsqu’il est question de petits nombres, car les lecteurs sont susceptibles de penser que les résultats sont généralisables à l’ensemble de la population. Il vaut mieux présenter des chiffres bruts (et non des pourcentages) et illustrer les constatations représentatives avec des exemples. Le cas échéant, il convient de mentionner clairement que les taux ou les proportions statistiques se rapportent à l’échantillon et non à la population.

Que peut-on déduire des résultats compte tenu de la façon dont l’échantillon a été prélevé?

Les déductions que l’on peut faire à partir d’échantillons dirigés dépendent des résultats obtenus, de leur uniformité, et de la façon dont l’échantillon a été prélevé. L’interprétation de constatations tirées d’un échantillon généralisable constitue un exercice d’extrapolation relativement simple. Toutefois, dans le cas d’un échantillon dirigé, cette interprétation repose sur un argumentaire logique. Compte tenu de la manière dont l’échantillon a été prélevé, que montrent les résultats au lecteur avec certitude? Il est également important de rappeler aux lecteurs ce qu’une constatation ne permet pas de déduire, comme la prévision des taux d’erreur d’une population.

Quelles autres informations corroborent cette déduction?

Enfin, les auditeurs doivent garder à l’esprit que, par rapport à un échantillonnage généralisable, les éléments probants obtenus au moyen d’un échantillonnage dirigé sont assujettis à une exigence de corroboration plus élevée et doivent davantage être étayés par d’autres sources d’éléments probants (cette démarche est parfois appelée la triangulation des éléments probants). Lors de l’élaboration de l’approche de l’audit, les auditeurs doivent prévoir plusieurs méthodes d’enquête afin de produire des informations selon différentes perspectives, ce qui contribue au développement d’un argumentaire solide.

L’encadré 5 contient un bon exemple de description d’une stratégie d’échantillonnage dirigé.

Audit : Bureau du vérificateur général du Canada – Affaires indiennes et du Nord Canada – Le respect des obligations relatives aux droits fonciers issus de traités; publié en novembre 2005

Constatations de l’audit (extrait) :
Les dossiers sur les terres sélectionnées révèlent la nécessité d’améliorer les pratiques de gestion

7.48 Nous avons examiné les dossiers sur les terres sélectionnées, tant en Saskatchewan qu’au Manitoba, afin de mieux comprendre certains problèmes et d’évaluer le rendement du Ministère par rapport à ses engagements. Nous avons prélevé à cette fin deux échantillons ciblés. Pour le premier échantillon, nous avons demandé à la Saskatchewan et au Manitoba de nous soumettre leurs meilleurs cas et leurs cas plus problématiques; nous avons choisi au total 24 dossiers. Cet échantillon avait pour fonction de déterminer ce que le Ministère entend par succès et par échec. Pour notre deuxième échantillon, nous avons choisi 44 dossiers constituant diverses situations de sélection de terres et présentant des caractéristiques précises, comme l’emplacement (milieu urbain ou rural, nord ou sud), le type d’entente par lequel ils sont visés (entente-cadre concernant plusieurs parties ou entente distincte) et l’état d’avancement (complet ou en cours). Nous avons examiné ces cas et les avons comparés aux meilleurs cas et aux cas plus problématiques.

7.49 Dans les deux échantillons, nous avons constaté que la plupart des dossiers contenaient les principaux documents requis à l’étape où le dossier était arrivé dans le processus. La majorité des dossiers qui avaient été menés à bien se trouvaient en Saskatchewan, alors qu’au Manitoba, l’étude d’un nombre imposant de dossiers n’était pas encore terminée. Dans l’ensemble, les dossiers contenaient peu de documents (comme des notes au dossier et des comptes rendus de réunions) prouvant qu’il y avait eu des communications avec les Premières nations concernées, documentation qui est nécessaire pour bien gérer les terres sélectionnées.

7.50 Fait significatif, les méthodes de gestion des dossiers des agents de projet variaient grandement. Ces méthodes allaient des listes de contrôle détaillées et complètes et de l’envoi de notes périodiques au dossier, à pratiquement aucune gestion de dossier. Cette situation est particulièrement préoccupante si l’on tient aussi compte du taux de roulement des agents de projet responsables des terres sélectionnées, que nous avons remarqué dans chaque échantillon. En six ans, jusqu’à quatre agents de projet avaient été responsables de certains dossiers. Lorsque l’information n’est pas recueillie et consignée systématiquement, une telle situation, conjuguée au changement de personnel et au manque de fiabilité des systèmes de données du Ministère, devient rapidement très risquée.

7.51 Dans l’échantillon des meilleurs cas et des cas problématiques, presque tous les dossiers que le Ministère avait jugés satisfaisants avaient été ou étaient traités par le système sans grandes complications. Nous avons par contre noté que le temps de traitement était beaucoup plus court en Saskatchewan qu’au Manitoba. Inversement, la plupart des dossiers que le Ministère avait jugés plus problématiques comportaient de nombreuses complications concernant les intérêts de tiers, les problèmes avec les municipalités et les questions de procédure (par exemple, les terres sélectionnées non admissibles aux termes des ententes-cadres).

7.52 Dans notre deuxième échantillon, nous avons constaté que la majorité des dossiers présentaient les mêmes caractéristiques que les cas problématiques de notre premier échantillon. Très peu de cas avaient été traités par le système sans complications, et l’étude de la plupart des dossiers avait été retardée à une étape donnée du processus. Le règlement des questions concernant les intérêts de tiers — par exemple les préoccupations des municipalités ou les problèmes concernant les ressources naturelles (minéraux, ou pétrole et gaz) — était le plus souvent responsable des retards. Lorsque l’étude des dossiers stagnait pendant plusieurs années, il n’y avait aucun plan pour mettre fin à l’impasse. L’étude des dossiers était aussi retardée par les conditions imposées par le Ministère à l’approbation de principe régionale, un document indiquant que la région appuie les sélections. Étant donné la similitude des caractéristiques de la plupart des dossiers de notre deuxième échantillon et des dossiers problématiques du premier échantillon, nous croyons qu’il faut régler certaines questions fondamentales en ce qui a trait à la gestion des dossiers et à la planification.