PACP Rapport du Comité

INTRODUCTION
L’évaluation de l’efficacité est un outil qu’utilisent les gestionnaires pour évaluer dans quelle mesure les programmes gouvernementaux atteignent leurs objectifs. Elle suppose la collecte et l’analyse systématiques de données probantes sur les résultats des programmes. Les renseignements recueillis grâce aux évaluations permettent de juger de la pertinence, du rendement et de l’optimisation des ressources des programmes et d’ainsi justifier les décisions prises concernant l’orientation stratégique, l’amélioration des programmes et les dépenses prévues. Les évaluations aident aussi les ministères à démontrer aux parlementaires et aux Canadiens que les programmes gouvernementaux produisent les résultats escomptés. L’accès à une bonne information est d’autant plus important que le gouvernement a décidé récemment de geler les dépenses opérationnelles et de soumettre les programmes gouvernementaux à un examen stratégique.

Les récents changements apportés à la loi et à la politique ont fait ressortir l’importance de l’évaluation au sein de l’administration fédérale. La Loi fédérale sur la responsabilité de 2006 apporte une modification à la Loi sur la gestion des finances publiques qui oblige à évaluer ou à examiner tous les cinq ans la pertinence et l’efficacité de tous les programmes de subventions et de contributions non prévues par la loi^[1]. En vertu de la Politique sur l’évaluation du Conseil du Trésor, qui a été mise à jour en 2009, les grands ministères doivent veiller à ce que l’ensemble des dépenses de programmes directes soit évalué tous les cinq ans^[2]. Pour pouvoir se conformer à ces exigences, il est essentiel que les ministères disposent des moyens, du soutien et des systèmes nécessaires pour procéder aux évaluations prévues par la loi et par la politique du Conseil du Trésor.

Dans son rapport de l’automne 2009, le Bureau du vérificateur général (BVG) a vérifié la façon dont les unités d’évaluation de six ministères (Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada et Ressources humaines et Développement des compétences Canada) s’y prennent pour définir les besoins liés à l’évaluation de l’efficacité et y donner suite, et les mesures prises pour se doter de la capacité nécessaire pour satisfaire ces besoins^[3]. Le BVG a aussi examiné le rôle de surveillance et de soutien que joue le Secrétariat du Conseil du Trésor du Canada (le Secrétariat) pour suivre et améliorer la fonction d’évaluation au sein du gouvernement.

Puisque le Comité des comptes publics est depuis longtemps favorable à un recours accru aux évaluations de l’efficacité au sein de l’administration fédérale, il a consacré une séance à ce rapport de vérification le 4 mai 2010^[4]. Du Bureau du vérificateur général, le Comité a reçu : Sheila Fraser, vérificatrice générale du Canada; Neil Maxwell, vérificateur général adjoint; et Tom Wileman, directeur principal. Du Secrétariat du Conseil du Trésor du Canada, le Comité a entendu : Michelle d'Auray, secrétaire du Conseil du Trésor du Canada, et Alister Smith, secrétaire adjoint, Secteur de la gestion des dépenses. Le Comité a aussi recueilli les témoignages de représentants de deux des ministères visés par la vérification. De Citoyenneté et Immigration Canada, le Comité a accueilli : Neil Yeates, sous-ministre, et Elizabeth Ruddick, directrice générale, Recherche et évaluation. D’Environnement Canada, le Comité a reçu : Ian Shugart, sous-ministre, et William Blois, directeur associé, Direction de la vérification et évaluation.

RAPPORT ANNUEL
Voici les constatations faites par le BVG à la suite de sa vérification de l’évaluation de l’efficacité au sein de l’administration fédérale :

• pendant la période à l’étude, les évaluations effectuées représentaient une proportion relativement faible des dépenses de programmes;
• dans beaucoup des évaluations examinées, l’efficacité des programmes n’avait pas été bien établie faute de données adéquates;
• les ministères doutent de leur capacité d’évaluer toutes les dépenses de programmes directes, comme l’exige la Politique sur l’évaluation;
• le Secrétariat n’a pas fourni un appui soutenu à l’égard de l’évaluation de l’efficacité;
• à l’exception d’Environnement Canada, les ministères ne font pas régulièrement le bilan des faiblesses touchant l’évaluation de l’efficacité des programmes ni ne prennent de mesures pour les corriger^[5].

Le Comité a décidé de rencontrer des représentants d’Environnement Canada et de Citoyenneté et Immigration Canada, car il aurait été trop compliqué d’inviter des représentants de chacun des six ministères vérifiés. Avant la réunion, ces deux ministères ont fourni au Comité un plan d’action sur la façon dont ils comptent s’y prendre pour donner suite aux recommandations du BVG; Agriculture et Agroalimentaire Canada et Pêches et Océans Canada ont fait de même après la réunion. Le Comité espère que ces ministères mettront en œuvre ces plans et s’efforceront d’améliorer leur capacité d’évaluer l’efficacité des programmes. Toutefois, le Comité n’a reçu de plan d’action ni de Patrimoine canadien ni de Ressources humaines et Développement des compétences Canada. C’est pourquoi il recommande :

RECOMMANDATION 1
Que d’ici au 31 décembre 2010, Patrimoine canadien et Ressources humaines et Développement des compétences Canada présentent chacun au Comité permanent des comptes publics un plan d’action expliquant comment ils entendent donner suite aux recommandations formulées dans le chapitre 1 du rapport de l’automne 2009 de la vérificatrice générale du Canada.

Les conclusions de la vérification donnent également à penser que l’évaluation de l’efficacité doit être améliorée dans tous les ministères et non seulement dans ceux visés par la vérification. Au sein de l’administration fédérale, la responsabilité d’exercer une surveillance sur la fonction d’évaluation à l’échelle du gouvernement incombe à un organisme central — le Secrétariat du Conseil du Trésor du Canada. Le Secrétariat a mis à jour la Politique sur l’évaluation, dans le but de remédier aux lacunes relevées dans la portée et la nature des évaluations ainsi que dans la gouvernance et l’indépendance de la fonction d’évaluation, et au manque de clarté de la collecte de données. Le Secrétariat dispose de différents mécanismes pour surveiller la fonction d’évaluation, par exemple, l’enquête annuelle d’évaluation des capacités, les examens périodiques de la qualité des rapports d’évaluation et les examens de la qualité et de l’utilisation des évaluations dans les ministères, qui se fondent sur le Cadre de responsabilisation de gestion (CRG). Le Secrétariat a aussi un centre d’excellence en évaluation (le Centre), qui offre l’orientation et le soutien nécessaires aux ministères dans le contexte de l’évaluation.

Les vérificateurs ont constaté que le Centre n’avait pas fait de progrès en vue d’élaborer des outils pour aider les ministères à régler le problème relatif à l’insuffisance des données servant à appuyer les évaluations de l’efficacité, problème de longue date qui persiste toujours. Au moment de la vérification, le Secrétariat n’avait pas publié de lignes directrices sur la mise en œuvre de la Politique sur l’évaluation à l’intention des ministères^[6]. La secrétaire du Conseil du Trésor, Michelle d'Auray, a dit au Comité que le Centre avait depuis publié une ébauche de guide pour l’élaboration des plans d’évaluation des ministères et des stratégies de mesure du rendement. Le Centre a établi une communauté de praticiens en matière d'évaluation pour l’échange de conseils pratiques^[7]. Alister Smith, secrétaire adjoint qui dirige les activités d’évaluation du Secrétariat, a indiqué que ces documents d’orientation seraient parachevés d’ici la fin de l’exercice en cours^[8]. La vérificatrice générale a dit au Comité qu’elle était heureuse que le gouvernement ait pris des mesures à la suite de la vérification^[9].

Normalement, le Comité fait un suivi des progrès accomplis par les ministères à l’égard des recommandations du BVG dans le cadre d’un rapport d’étape. Dans ce cas-ci, le Comité remarque que le Secrétariat a publié par le passé un rapport sur la fonction d’évaluation intitulé « La santé de la fonction d’évaluation au gouvernement du Canada, Rapport pour l’exercice 2004-2005 ». Selon les vérificateurs, c’est le seul rapport à avoir été publié; bien que le Secrétariat continue de mener des enquêtes sur l’évaluation des capacités^[10]. Dans sa déclaration préliminaire, la secrétaire a tenu les propos suivants :
La vérificatrice générale recommande également que le Secrétariat du Conseil du Trésor déploie davantage d'efforts pour surveiller et soutenir les ministères, les aidant ainsi à établir les points à améliorer en priorité. Cette recommandation est aussi prise en considération par la nouvelle politique, qui demande au Secrétariat du Conseil du Trésor de fournir un leadership fonctionnel en matière d'évaluation à l'ensemble du gouvernement. Cela comprend la surveillance régulière et la production de rapports annuels au Conseil du Trésor, au sujet de l'état de la fonction d'évaluation. Notre premier rapport sera publié avant la fin de l'exercice 2010-2011^[11].

Il est difficile de savoir si le Secrétariat compte publier ce rapport annuel. Le Comité croit que ce rapport devrait être rendu public parce qu’il offrirait aux parlementaires et aux Canadiens un outil de reddition de comptes utile pour suivre les progrès accomplis à l’égard de la mise en œuvre des nouvelles exigences du gouvernement en matière d’évaluation. Par conséquent, le Comité recommande :

RECOMMANDATION 2
Qu’à partir de 2010-2011, le Secrétariat du Conseil du Trésor prépare un rapport annuel sur l’état de la fonction d’évaluation et le rende accessible au public.

RECOMMANDATION 3
Que le Secrétariat du Conseil du Trésor inclue dans son rapport annuel sur l’état de la fonction d’évaluation une mise à jour sur ses activités de surveillance et de soutien de l’évaluation de l’efficacité.

INFORMATION SUR LE RENDEMENT
Pour pouvoir bien évaluer l’efficacité des programmes, il faut avoir accès à suffisamment de données fiables sur le rendement des programmes. Le BVG a examiné un échantillon de 23 évaluations portant sur l’efficacité, et dans 17 d’entre elles (soit 74 %), on indiquait de manière explicite qu’il manquait de l’information sur le rendement des programmes, car les données n’étaient pas disponibles ou n’étaient pas suffisamment fiables^[12]. Dans neuf cas, l’évaluation du succès et de l’efficacité des programmes n’avait pu être effectuée correctement en raison des limites des données.

Le sous-ministre de Citoyenneté et Immigration Canada, Neil Yeates, a reconnu que la collecte de données sur le rendement représente un grand défi pour son ministère, en partie parce que le travail de collecte est souvent très coûteux^[13]. Le sous-ministre d’Environnement Canada, Ian Shugart, a quant à lui affirmé que souvent ce ne sont pas les données sur le rendement qui manquent, c’est plutôt qu’elles ne sont pas suffisantes pour répondre à toutes les questions de l’évaluation. Son ministère a un cadre de mesure du rendement, mais il n’est pas complet^[14].

La Politique sur l’évaluation exige que les ministères veillent à ce que des mesures permanentes du rendement soient en place à l'échelle du ministère afin de recueillir suffisamment d'information pour appuyer efficacement l'évaluation des programmes^[15]. Le Secrétariat surveille la gestion ministérielle par le biais des évaluations annuelles fondées sur le CRG, dont une partie porte sur l’« utilité du cadre de rendement ministériel^[16] ». Pour les évaluations de 2008, trois des six ministères visés par la vérification — Citoyenneté et Immigration Canada, Patrimoine canadien et Agriculture et Agroalimentaire Canada — ont reçu le commentaire suivant : « Les indicateurs de rendement ne sont pas clairs et ne peuvent pas servir à recueillir des données permettant de fournir des renseignements fiables sur l’efficacité des programmes ». Environnement Canada et Pêches et Océans Canada ont reçu le commentaire : « Le cadre de mesure de rendement élaboré par l’organisation est de piètre qualité ». Enfin, Ressources humaines et Développement des compétences Canada a reçu le commentaire : « Le cadre de mesure de rendement élaboré par l’organisation est incomplet ou inadéquat ». Quatre de ces ministères ont reçu une cote « acceptable » pour l’utilité du cadre de rendement ministériel, et deux ont obtenu la cote « possibilité d’amélioration ». Un cadre de mesure du rendement se doit d’être solide pour qu’il soit possible de procéder à des évaluations significatives. Par conséquent, le Comité recommande :

RECOMMANDATION 4
Que d’ici au 31 janvier 2011, Environnement Canada, Pêches et Océans Canada et Ressources humaines et Développement des compétences Canada présentent au Comité permanent des comptes publics une stratégie d’amélioration de leur cadre de mesure du rendement.

Il est clair que les ministères devront améliorer considérablement leurs cadres de mesure du rendement et la collecte de données subséquente pour pouvoir évaluer judicieusement l’efficacité. La collecte et l’évaluation permanentes de renseignements fiables sur le rendement sont également importantes pour permettre aux gestionnaires de surveiller le rendement des programmes, et aux ministères, de rendre compte au public des résultats des programmes. Même si le Secrétariat assure un suivi à cet égard grâce aux évaluations fondées sur le CRG, ces dernières ne précisent pas dans quelle mesure l’information sur le rendement dont disposent les ministères est suffisante aux fins de l’évaluation de l’efficacité. Le Comité aimerait éviter que les évaluations soient entravées par un manque d’information sur le rendement, c’est pourquoi il recommande :

RECOMMANDATION 5
Que le Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de la fonction d’évaluation le nombre d’évaluations de l’efficacité effectuées et quels ministères ont eu de la difficulté à établir avec exactitude le degré de succès des programmes en raison de l’insuffisance de l’information sur le rendement.

RESPECT DES EXIGENCES IMPOSÉES PAR LA LOI ET PAR LA POLITIQUE
Comme il est mentionné précédemment, par suite des récents changements apportés à la loi et à la politique, tous les ministères fédéraux sont tenus d’évaluer l’ensemble des programmes de subventions et de contributions et les grands ministères doivent procéder à une évaluation de toutes les dépenses de programmes directes tous les cinq ans. Les exigences de la Politique sur l’évaluation entreront en vigueur après une période de transition. Le premier cycle de cinq ans portera sur les exercices 2013-2014 à 2017-2018.

Les vérificateurs ont constaté que les ministères avaient établi des plans fondés sur les risques pendant la période visée par la vérification^[17]. Toutefois, le pourcentage moyen des dépenses de programmes évaluées entre 2004-2005 et 2007-2008 oscille entre 5 % et 13 %^[18]. Pour arriver à évaluer l’ensemble des dépenses de programmes directes tous les cinq ans, les ministères devront hausser leur moyenne annuelle à 20 %. Même s’il leur reste encore du temps pour accroître leur capacité d’évaluation, les ministères ont beaucoup de pain sur la planche avant de pouvoir dire qu’ils ont atteint l’objectif fixé en ce qui concerne le pourcentage annuel de dépenses de programmes évaluées. Le Comité aimerait faire un suivi des progrès accomplis par les ministères pour voir s’ils respectent les exigences en matière d’évaluation, c’est pourquoi il recommande :

 RECOMMANDATION 6
Que le Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de la fonction d’évaluation le pourcentage des dépenses de programmes directes et des programmes de subventions et de contributions ayant fait l’objet d’une évaluation au cours de l’exercice, ainsi que le pourcentage des dépenses et des programmes évalués au cours du cycle quinquennal.

DOTATION
Les vérificateurs ont constaté que le nombre de professionnels au sein des unités d’évaluation a augmenté au cours de la période visée par la vérification^[19]. L’unité d’évaluation de Citoyenneté et Immigration Canada est passée de 3,3 équivalents temps plein en 2004-2005 à 12,5 en 2008-2009, et le sous-ministre a indiqué qu’elle allait bientôt en compter 20^[20]. L’unité d’évaluation d’Environnement Canada a aussi pris considérablement d’expansion puisqu’elle est passée de 4 équivalents temps plein en 2004-2005 à 10 en 2008-2009, et Environnement Canada pourrait devoir doubler cet effectif dans les prochaines années^[21]. Pour l’ensemble des grands ministères, le nombre d’équivalents temps plein est passé de 176,3 en 2004-2005 à 296,7 en 2008-2009.

Toutefois, si tous les ministères doivent augmenter dans la même proportion l’effectif de leurs unités d’évaluation, il sera peut-être difficile de trouver des évaluateurs compétents et expérimentés. Les vérificateurs ont souligné que la pénurie d’évaluateurs de programme chevronnés au sein de l’administration fédérale est un problème de longue date, qui a empêché les ministères de recruter le personnel dont ils ont besoin et a incité d’autres unités d’évaluation fédérales à convaincre des évaluateurs de quitter leur emploi pour se joindre à leur service^[22]. Afin de disposer d’un effectif suffisant, les ministères devront préparer des stratégies de recrutement et de maintien en fonction pour leurs unités d’évaluation.

La secrétaire du Conseil du Trésor a dit au Comité qu’il y avait actuellement au-delà de 500 évaluateurs à l’emploi de l’administration fédérale^[23], et Alister Smith a décrit la collaboration établie par le Secrétariat avec les universités et l’École de la fonction publique pour faciliter la constitution d’un bassin d’évaluateurs compétents^[24]. Malgré tout, le Comité s’inquiète de la capacité des ministères d’attirer et de garder en poste des évaluateurs compétents et expérimentés, puisque leur capacité d’effectuer les évaluations supplémentaires maintenant exigées en est largement tributaire. Le Comité aimerait faire un suivi de cette question, c’est pourquoi il recommande :

RECOMMANDATION 7
Que le Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de la fonction d’évaluation le nombre d’évaluateurs à l’emploi des grands ministères au sein de l’administration fédérale.

L’autre sujet de préoccupation touchant la dotation a trait au fait que les ministères font largement appel à des sous-traitants. Les vérificateurs ont en effet constaté qu’environ 90 % des évaluations avaient été exécutées en tout ou en partie par des sous-traitants^[25]. Même si les sous-traitants auront toujours un rôle important à jouer, puisqu’ils peuvent offrir une expertise qui n’est pas disponible à l’interne et renforcent la capacité d’évaluation, une trop forte dépendance à leur égard risque d’inhiber la capacité des unités d’évaluation internes de devenir des spécialistes en la matière et de les obliger plutôt à consacrer l’essentiel de leur temps à gérer des contrats. Le Comité espère que cette dépendance à l’égard des sous-traitants diminuera à mesure que les ministères renforceront leurs unités d’évaluation. Le Comité aimerait qu’il en soit ainsi, c’est pourquoi il recommande :

RECOMMANDATION 8
Que le Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de la fonction d’évaluation le pourcentage des évaluations effectuées par des sous-traitants.

SUIVI
Les exigences de la loi et de la politique en matière d’évaluation de l’efficacité sont considérables. Les conclusions de la vérification, notamment en ce qui concerne le manque d’information sur le rendement, l’insuffisance des moyens et la pénurie d’évaluateurs chevronnés, donnent à penser que les ministères pourraient avoir de la difficulté à s’y conformer. Même si les ministères disposent encore de beaucoup de temps pour se préparer, les vérificateurs soulignent que les exigences relatives à la pleine couverture qui avaient été établies antérieurement n’ont jamais été satisfaites^[26]. Il est difficile de savoir ce qui arriverait si jamais les ministères n’étaient pas en mesure d’assurer une couverture d’évaluation complète, en particulier en ce qui concerne l’examen de l’ensemble des programmes de subventions et de contributions tous les cinq ans. Il se pourrait que les ministères renoncent à effectuer des évaluations détaillées pour assurer une couverture complète des programmes. Le sous-ministre d’Environnement Canada a affirmé au Comité que « la mise en œuvre de cette politique prévoit une certaine souplesse. Par exemple, une façon efficace de procéder serait d'évaluer tout un éventail de programmes plutôt qu'un seul programme à la fois^[27]. » Cette approche soulève certaines préoccupations parce que le respect par les ministères de l’exigence relative à la couverture complète des programmes pourrait se faire au détriment de la qualité des évaluations, de sorte que l’objectif initial de fournir aux gestionnaires une évaluation de toutes les dépenses de programmes directes pourrait s’en trouver compromis.

Étant donné les lacunes actuelles de l’évaluation de l’efficacité, dont fait état le rapport de vérification, et les difficultés que pourrait poser le respect des exigences imposées par la loi et par la politique, le Comité croit qu’il serait utile d’effectuer une vérification de suivi avant la fin du premier cycle quinquennal en 2017-2018. Le Comité remarque que les ministères ont accru sensiblement les ressources financières et humaines consacrées à la fonction d’évaluation. Le Comité croit qu’il importe que le gouvernement parvienne à optimiser ces ressources et que ces dernières soient utilisées de façon économique et efficiente. C’est pourquoi il recommande :

RECOMMANDATION 9
Que le Bureau du vérificateur général fasse une vérification de suivi d’ici cinq ans après la vérification initiale pour voir si les ministères arrivent à satisfaire aux exigences en matière d’évaluation de l’efficacité et s’ils effectuent leurs évaluations de façon économique et efficiente.

Le Comité remarque également que la Politique sur l’évaluation exige que le Secrétariat veille à ce qu’une évaluation de la politique soit menée tous les cinq ans^[28]. Cette évaluation devrait aider à établir si les nouvelles exigences en matière d’évaluation de l’efficacité des programmes procurent effectivement des résultats.

CONCLUSION
L’évaluation de l’efficacité fournit aux gestionnaires des données objectives et probantes sur la mesure à laquelle les programmes gouvernementaux produisent les résultats escomptés. Elle est donc essentielle pour pouvoir prendre des décisions judicieuses et éclairées au sujet de la conception des programmes et de l’affectation des ressources. Le Comité est un partisan de longue date du recours accru aux évaluations de l’efficacité au sein de l’administration fédérale et se réjouit de constater que le gouvernement a resserré les exigences à cet égard. Toutefois, les conclusions du BVG montrent que plusieurs lacunes doivent encore être corrigées pour que les ministères puissent s’y conformer. Dans le présent rapport, le Comité demande la publication de différents éléments d’information qui permettront de faire un suivi plus étroit de la capacité des ministères fédéraux de remédier à ces lacunes et de se doter d’une solide fonction d’évaluation.