Les garanties publiques du crédit aux PME sont-elles efficientes ? Les enseignements d'une enquête officielle internationale

Motivation

Les économies de l'OCDE (Organisation de coopération et de développement économiques) connaissent une faiblesse de l'investissement et de la productivité. Les petites entreprises et moyennes entreprises (PME) sont souvent considérées comme une source possiblement importante de dynamisme supplémentaire et, par conséquent, dans les circonstances actuelles, une attention accrue est portée aux obstacles auxquels ces entreprises peuvent être confrontées en termes d'investissement et de développement ainsi qu'aux instruments de politique économique employés pour surmonter ces obstacles.

Les petites entreprises sont d'importants moteurs potentiels de la croissance réelle de l'activité économique, notamment parce que toute entreprise, grande ou petite, a commencé en tant que petite entreprise. Afin de pouvoir se développer, une petite entreprise a toutefois besoin de financements ; pourtant les PME sont souvent confrontées à des contraintes de financement. En raison d'asymétries d'information, du risque élevé associé au financement des PME – reflétant un nantissement limité et un taux d'attrition élevé au sein de telles entités – ainsi que de lacunes dans les systèmes existants d'évaluation du crédit, les PME ont tendance à être limitées dans leur accès aux financements. Cette situation a motivé des interventions politiques destinées à faciliter l'accès des PME aux financements, et ces interventions ont été étendues dans de nombreux pays au cours des dix dernières années en réponse à la crise financière.

Les mesures de soutien aux PME revêtent différentes formes. Elles incluent les mécanismes de prêt direct, les prêts consentis par des institutions financières publiques et les mécanismes publics de garantie du crédit (credit guarantee schemes – CGS). Ces derniers, en particulier s'ils fournissent des garanties partielles, sont souvent considérés comme provoquant moins de distorsions de marché que les autres types d'interventions, dans la mesure où ils donnent généralement lieu à une ingérence moindre en termes d'allocation des crédits. En effet, les banques privées conservent un rôle liminaire significatif dans le processus de création du crédit. Bien que les CGS ne réduisent pas directement les asymétries d'information et ne s'attaquent pas aux causes profondes des défaillances identifiées du marché, ils peuvent néanmoins encourager les prêteurs à octroyer des crédits aux PME en fournissant un substitut de nantissement et, s'ils sont conçus convenablement, améliorer le bien-être général. De tels dispositifs existent depuis des dizaines d'années dans plusieurs économies de l'OCDE et ont été introduits dans de nombreuses économies émergentes et en transition au cours des années 1990. En ce qui concerne les économies émergentes et en transition dans lesquelles les dispositifs de ce type n'existent pas encore, les recommandations politiques suggèrent systématiquement d'en établir. Afin qu'il porte ses fruits, un CGS doit toutefois être conçu et mis en œuvre de manière appropriée. Pour juger de l'adéquation de la conception d'un CGS, sa performance doit être évaluée.

Un CGS présente notamment l'avantage de permettre aux PME disposant de possibilités commerciales viables de recevoir les financements dont elles ont besoin et qu'elles n'auraient pas reçus autrement. En revanche, des coûts existent dans la mesure où des PME non viables obtiennent des financements qui les maintiennent en activité et leur permettent de rester sur le marché, occupant ainsi l'espace qui pourrait être occupé par des entreprises potentiellement plus performantes. Une importante question politique concrète est donc de savoir si les CGS réussissent à surmonter les contraintes financières d'un nombre significatif de PME viables, tout en évitant de maintenir en vie des entreprises non viables qui, autrement, sortiraient du marché (en supposant que retarder une telle sortie ne fasse pas partie des objectifs des CGS). Pour répondre à cette question, la performance des CGS doit être évaluée par rapport à leurs objectifs afin de déterminer dans quelle mesure certains de leurs éléments de conception devraient être modifiés, afin de leur permettre de surmonter plus efficacement les défaillances identifiées du marché. Une analyse coût-efficacité des CGS s'impose.

Une telle analyse est nécessaire pour diverses raisons. Premièrement, indépendamment des aspects légaux spécifiques relatifs à la gestion des CGS et à la participation, la plupart d'entre eux – sinon tous – peuvent être considérés comme étant « financés publiquement » au sens où ils sont perçus comme servant un intérêt public valable. Du fait de cette situation, ils sont soutenus par les pouvoirs publics de diverses façons, y compris par le biais de l'octroi d'un traitement réglementaire particulier, de contributions financières régulières directes ainsi que de contre-garanties ou de contributions financières dans des circonstances exceptionnelles. Deuxièmement, les CGS sont considérés comme étant devenus une caractéristique structurelle de nombreux systèmes financiers (OCDE, 2013) et, par conséquent, les effets des activités de ces dispositifs sur l'accès des PME au crédit bancaire garanti, à d'autres types de crédit bancaire et à d'autres formes de financement moins traditionnelles nécessitent d'être mieux compris. Troisièmement, les CGS ont également été considérés comme des outils contracycliques depuis le début de la crise financière. Certains pays ont entrepris d'évaluer une telle utilisation des CGS et une enquête de l'OCDE (2010) sur la question conclut que, compte tenu de la sévérité du ralentissement économique et de la détérioration de l'accès des PME aux financements, l'intégration de programmes supplémentaires de soutien d'urgence a été une réponse politique appropriée. En dépit de cette évaluation positive, les activités accrues des CGS peuvent donner lieu en l'absence d'évaluations coût-efficacité régulières à des engagements budgétaires implicites, lesquels, s'ils peuvent passer inaperçus pendant de nombreuses années, peuvent rapidement prendre de l'ampleur avant de finir par apparaître.

Dans le contexte de ces considérations et dans le but de contribuer à relancer les mesures de soutien fourni aux PME, le Comité des marchés financiers de l'OCDE (CMF) a décidé d'examiner les pratiques employées par les pouvoirs publics des pays membres pour évaluer le rapport coût-efficacité des programmes publics de garantie du crédit dédiés aux PME. La nécessité d'évaluer à la fois les avantages économiques et les coûts économiques des dispositifs de soutien aux PME a été reconnue dans le cadre des récentes initiatives visant à renforcer le rôle et les activités des PME en développant des principes de haut niveau sur le financement des PME (G20/OCDE) et sur les dispositifs de garantie du crédit pour le G20 (Banque mondiale/Initiative FIRST), mais il n'existe pas de méthode idéale approuvée de tous pour l'évaluation des activités des CGS.

Afin d'en apprendre davantage sur les différentes approches nationales en la matière, le CMF a décidé de passer en revue les diverses manières dont les pays membres de l'OCDE et les pays partenaires abordent de telles évaluations coûts-bénéfices et a fait circuler un questionnaire parmi les membres du CMF et les pays partenaires1. L'objectif était de permettre aux participants d'en savoir plus sur les méthodes utilisées par les autres ainsi que sur les caractéristiques spécifiques de ces approches qui étaient considérées comme étant particulièrement utiles. Le présent article, en s'appuyant sur une synthèse des réponses à l'enquête obtenues auprès des autorités des pays membres de l'OCDE et de la CE, soutient que dans de nombreux cas, certains aspects de l'évaluation de la performance des CGS sont susceptibles d'être améliorés.

Surmonter les défaillances identifiées du marché grâce aux CGS publics

Le groupe d'entreprises bénéficiant potentiellement d'un soutien public est hétérogène

Les PME sont souvent considérées comme un moteur clé de l'innovation technologique, de la croissance de la productivité et de la création d'emploi. Toutefois elles ne constituent pas un groupe homogène d'entités. Elles regroupent plutôt un large éventail d'entreprises ayant des activités, des structures et des tailles différentes et, en particulier, des perspectives différentes en termes de contribution à la croissance de l'emploi et à l'innovation technologique. Les PME partagent la caractéristique d'être relativement plus petites que certaines autres entreprises. La taille peut être mesurée sur la base du nombre d'employés, du chiffre d'affaires ou de la taille du bilan ; en pratique, le critère utilisé pour définir les PME diffère d'un pays à l'autre, ce qui complique la comparaison des évolutions d'un pays à l'autre.

Les PME, quelle que soit la façon dont elles sont définies, ont tendance à avoir accès à plusieurs types d'avantages potentiels : obligations moins strictes ou réduction des frais pour ce qui concerne la conformité administrative, et éligibilité au soutien dans le cadre de programmes nationaux ou régionaux de soutien aux entreprises ciblant spécifiquement ce type d'entreprises. Le dispositif de soutien le plus courant est un mécanisme de garantie du crédit (CGS), qui fournit généralement une garantie partielle à une PME pour un crédit bancaire, garantie qui est déclenchée en cas de défaillance du débiteur2. La remarquable prolifération de ces CGS dans le monde entier, dont beaucoup bénéficient d'un financement public, montre que les décideurs politiques ont perçu une défaillance du marché en ce qui concernait l'octroi de crédits aux PME et que cette défaillance a été jugée suffisamment importante pour justifier une intervention publique.

Le principal avantage de l'intervention publique dans le prêt au secteur des PME est qu'elle permet de surmonter les effets d'une défaillance identifiée du marché. Dans le cas des PME, la défaillance du marché est généralement considérée comme étant liée à une allocation sous-optimale des ressources ; les PME en général, ou certains types de PME telles que celles ayant un fort potentiel de croissance, sont perçues comme recevant des financements inférieurs à ceux qu'elles pourraient utiliser de manière productive – et dont elles font la demande. Même si une telle situation peut apparaître dans le cas des grandes entreprises tout comme dans celui des petites entreprises, les problèmes d'asymétries d'information sont susceptibles de jouer un rôle plus important dans le cas des petites entreprises, compte tenu de la disproportion qui existe entre le coût lié à l'évaluation des besoins de financement d'une petite entreprise et de sa capacité à rembourser sa dette, d'une part, et le rendement financier potentiel, d'autre part. Ce problème peut se poser en raison de l'existence d'importants coûts fixes associés à une telle évaluation du crédit, dans la mesure où les données sont rares, souvent peu fiables et coûteuses à collecter auprès d'un grand nombre de très petites entreprises.

La situation peut être rendue encore plus complexe par l'absence de garanties, des antécédents de crédit limités et le manque d'expertise des PME quand il s'agit de fournir des états financiers. Par conséquent, il peut y avoir une différence entre la demande de financement des PME et l'offre de financement aux PME, qui est souvent considérée comme une défaillance structurelle du marché et que l'on appelle généralement « déficit de financement des PME ». Ce « déficit de financement » est particulièrement préoccupant pour les PME ayant un potentiel élevé de croissance future et, éventuellement, d'augmentation de la productivité globale et de création de nouveaux emplois (OCDE, 2017).

Malheureusement, en pratique, il est difficile de distinguer les PME de ce type d'autres PME, peut-être moins ambitieuses, telles que celles qui n'ont pas vocation à se développer et souhaitent rester à taille humaine. Les informations normalisées relatives aux performances passées et aux perspectives de croissance des PME cherchant des financements sont souvent indisponibles ou bien seulement partiellement disponibles ou disponibles pour de courtes périodes. Face à une telle situation, les banques réagissent de manière rationnelle en faisant payer des taux d'intérêt plus élevés et en demandant des garanties visant à couvrir les pertes dans le cas où la PME ne pourrait pas rembourser l'emprunt. Plus encore que le montant des garanties destinées au prêteur en cas d'insolvabilité de l'emprunteur, la capacité d'emprunt de la PME et sa volonté de fournir des garanties attestent un certain niveau de solvabilité et la validité des perspectives de croissance. Les PME, en particulier les plus jeunes, qui peuvent avoir des perspectives commerciales viables, manquent généralement non seulement d'antécédents, mais aussi de garanties. Elles peuvent ainsi se retrouver rationnées sur le marché du crédit.

L'intervention politique visant à surmonter les défaillances identifiées du marché a des avantages et des coûts

Les mécanismes publics de garantie du crédit couvrant les prêts aux PME sont une réponse à cette situation dans la mesure où ils s'acquittent d'une partie des fonctions des garanties et limitent les pertes du créancier en cas d'insolvabilité de la PME. Toutefois, il existe également d'autres moyens de pallier les défaillances du marché, qui consistent par exemple à accroître la transparence, à produire et à diffuser des informations supplémentaires (par exemple, par le biais de bases de données permettant d'améliorer l'évaluation des perspectives de croissance et des risques) ainsi qu'à offrir des possibilités d'éducation et de formation aux PME afin qu'elles présentent leurs informations dans des formats plus normalisés. De plus, même dans les cas où la fourniture de garanties du crédit a été choisie comme l'une des formes privilégiées d'intervention publique, une telle intervention n'est pas sans coût. Ainsi les avantages sociaux (par exemple, maintien ou création d'emplois, meilleure productivité, etc.) et les coûts doivent être soigneusement mis en balance afin d'obtenir une mesure du bénéfice social net de l'intervention publique et de pouvoir revoir la conception de l'intervention politique et adapter le fonctionnement du CGS (cf. schéma 1 infra).

Les coûts, en revanche, ne sont pas toujours aussi évidents ; ils peuvent être liés au fait d'octroyer des financements à des PME qui ne sont pas en mesure d'en faire un usage productif, ce qui revient à maintenir en vie des entreprises qui autrement sortiraient du marché (maintenir en vie des « entreprises zombies »3), et au fait d'évincer le crédit bancaire non garanti ou le développement d'autres formes de financement telles que le capital-risque ou le financement participatif. Or, bien qu'émerge une littérature universitaire axée sur les performances des CGS, la plupart des études analysent les avantages plutôt que les coûts des activités de ces dispositifs.

Remarque : l'évaluation de la performance d'un CGS est en principe un élément clé du cycle politique et une telle évaluation est nécessaire, afin de déterminer quelles politiques ou quels dispositifs répondent le plus efficacement aux objectifs déclarés.

Source : schéma adapté à partir des travaux du Joint Research Centre de la CE (EC JRC, 2016).

Émergence d'une littérature universitaire évaluant les effets des activités des CGS

Difficultés en termes de disponibilité des données et de méthodologie

La disponibilité d'évaluations d'impact rigoureuses des programmes de soutien aux PME continue d'être relativement limitée, même si elle s'améliore. La disponibilité de données pertinentes continue d'être un obstacle majeur à la prolifération de la littérature et il s'avère que des bases de données provenant d'une source unique ont tendance à être insuffisantes pour conduire une analyse rigoureuse des effets de l'intervention politique, y compris la construction du contrefactuel. En effet, il est nécessaire de compiler des données émanant de plusieurs sources, ce qui suppose de mettre en correspondance des bases de données ayant des structures différentes. De nombreuses études s'appuient sur une combinaison de données provenant de bases de données administratives et de bases de données de CGS. Quelques études combinent des données issues de registres du crédit à des bases de données administratives ou de CGS. L'exercice consistant à mettre en correspondance des bases de données ayant des structures différentes s'avère toutefois difficile et long, ce qui explique en partie pourquoi la littérature universitaire consacrée à l'évaluation de la performance des CGS ne se développe que très lentement.

En termes de méthodologie, le principal défi consiste à évaluer de manière fiable l'effet causal des interventions politiques. Établir un lien de causalité entre contribution politique et résultats nécessite la construction d'un contrefactuel valide. Autrement dit, que seraient devenues les PME bénéficiant d'un soutien si elles n'avaient pas reçu ce soutien ? Pour répondre à cette question d'une manière fiable du point de vue statistique, il convient dans l'idéal de concevoir une expérience dans laquelle la garantie est octroyée à un échantillon de PME sélectionnées de manière aléatoire, sans tenir compte de leurs caractéristiques spécifiques. De cette façon, on s'assure que les variations observées dans les résultats peuvent être comparées entre le « groupe traité » (les entreprises ayant bénéficié « par hasard » de la mesure de soutien) et le « groupe de contrôle » (les entreprises n'ayant pas bénéficié de la mesure de soutien). Néanmoins cette conception idéale avec randomisation totale n'est généralement pas réalisable en pratique dans le cas des politiques de soutien aux PME. En effet, le fait que les PME fassent ou non une demande de garantie reflète sans doute la présence de certaines caractéristiques sous-jacentes spécifiques plus ou moins observables et, en réalité, pour qu'une PME se voie octroyer une garantie pour un prêt bancaire, celle-ci doit systématiquement satisfaire à un certain nombre de critères spécifiques. Les garanties ne sont pas accordées au hasard. Une approche de l'évaluation de l'effet des garanties consiste à comparer les résultats en termes de développements des PME ayant reçu une garantie (par exemple, leur croissance, leur emploi, leur productivité, etc.) avec les résultats des PME n'ayant reçu aucune garantie. Cependant la validité d'une telle approche comporte son lot de problèmes, dans la mesure où ces deux groupes peuvent être composés de PME intrinsèquement différentes. Par exemple, les PME ayant reçu une garantie peuvent être plus motivées et ambitieuses que d'autres, de sorte que la différence dans les résultats observés ne peut être expliquée de manière univoque par l'effet de la garantie elle-même. Ce problème est connu dans le domaine des statistiques sous le nom de biais de sélection dans le traitement. Des méthodes statistiques qui recourent à ce que l'on appelle des variables de contrôle sont heureusement disponibles pour réduire cette source de biais grâce à la construction d'un robuste contrefactuel.

Constatations clés relatives au rapport coût-efficacité
des activités des CGS

En dépit de ces difficultés, des progrès considérables ont été réalisés dans la littérature universitaire quant à l'évaluation empirique de l'intervention politique, sur la base de données microéconomiques qui permettent la construction d'un contrefactuel valide. Résumant cette littérature émergente, Schich et al. (2016) parviennent à ce qui suit :

• les garanties du crédit sont positives en termes d'accès des entreprises au financement par emprunt ; autrement dit, les dispositifs apportent une additionalité financière en augmentant la disponibilité du crédit et/ou en réduisant ses coûts. Ainsi de nombreux éléments attestent l'additionalité financière des activités des CGS, augmentant la disponibilité et/ou réduisant le coût du crédit. L'additionalité financière peut être perçue comme une condition nécessaire à l'obtention d'une additionalité économique (définie infra) ; en revanche, elle ne donne aucune indication quant à la question de savoir si les financements supplémentaires sont dirigés vers les « bons » endroits ;

• en ce qui concerne les effets des CGS sur l'additionalité économique, laquelle fait référence aux effets économiques, c'est-à-dire aux effets sur les variables de rendement économique telles que la croissance de la productivité ou de l'emploi d'une entreprise, les résultats relatifs aux effets des CGS sont plus mitigés. Les éléments attestant une amélioration de la performance des entreprises en termes de productivité sont insuffisants et les résultats sont mitigés en ce qui concerne les investissements. Il existe toutefois des données plus solides montrant que les activités des CGS ont des effets positifs sur l'emploi, mais certaines données indiquent également que les garanties de prêt sont associées à une accentuation du risque de défaillance des entreprises bénéficiaires. Cette observation importante souligne la nécessité d'une évaluation coût-efficacité minutieuse des dispositifs de garantie du crédit, dans la mesure où il serait nécessaire de comparer les avantages liés à une croissance de l'emploi à l'accentuation du risque de défaillance potentiellement induite par les activités des CGS. Reste également à savoir – et cette question n'a pas encore de réponse – dans quelle mesure cette accentuation peut être justifiée (autrement dit, davantage de financements sont perçus par des entreprises jeunes et innovantes qui ont tendance à mener des projets plus risqués, mais qui ont également un potentiel de croissance plus élevé que d'autres entreprises ne bénéficiant pas du soutien) ou non (autrement dit, en raison des effets de l'aléa moral de la part de la banque prêteuse, laquelle peut se montrer moins prudente en présence d'une garantie tierce). De plus, les tentatives d'identification des effets nets sur le bien-être, en considérant que les effets désirables tout comme les effets indésirables des activités des CGS font partie d'un cadre d'évaluation commun, sont peu courantes ;

• on en sait moins au sujet de la viabilité financière des CGS. Cette observation reflète principalement l'observation selon laquelle au sein de l'échantillon d'études d'évaluation des CGS considéré, seule une poignée d'études se concentrent sur la viabilité financière, autrement dit sur la capacité du programme à couvrir ses coûts de fonctionnement et les défaillances de crédit (autrement dit sa capacité à être budgétairement neutre). La grande majorité des études d'évaluation rigoureuses récentes mettent l'accent sur l'additionalité financière, suivie de près par l'additionalité économique.

Enquête OCDE/CE sur les approches nationales
en matière d'évaluation des CGS

Le Comité des marchés financiers (CMF) de l'OCDE reconnaît la nécessité d'évaluer le rapport coût-efficacité des programmes publics de garantie du crédit dédiés aux PME afin de permettre l'examen et la modification éventuelle des éléments de conception de ces dispositifs, de sorte à les faire fonctionner de manière efficace. Afin de recueillir des informations concernant les approches nationales, le CMF a fait circuler une enquête, développée conjointement avec le Joint Research Centre de la Commission européenne, auprès des pays membres de l'OCDE et de la Commission européenne. Au total, trente-trois réponses ont été reçues de la part des pouvoirs publics de vingt-quatre pays (même si l'un d'entre eux ne dispose d'aucun CGS). La suite de la présente partie analyse les résultats de cette enquête en s'appuyant sur cinq questions :

• qui effectue l'évaluation et à quelle fréquence ?

• quelles sont les données collectées pour l'évaluation ?

• par rapport à quels objectifs l'évaluation est-elle conduite et comment le contrefactuel est-il construit ?

• comment le résultat de l'évaluation intervient-il dans la prise de décisions opérationnelles ?

• quelles pratiques peuvent être considérées comme de bonnes pratiques d'évaluation et comment peut-on les comparer aux pratiques effectivement mises en œuvre ?

Qui effectue l'évaluation et à quelle fréquence ?

L'identité de l'entité qui effectue l'évaluation diffère d'un pays à l'autre. Dans la majorité des cas, c'est-à-dire dans huit pays (reflétant un total de dix évaluations distinctes – deux pays ayant réalisé deux évaluations indépendantes couvrant chacune une période différente), l'évaluation a été conduite par des instituts de recherche ou des universités. Cinq pays ont communiqué les résultats d'auto-évaluations. Dans le cas de quatre pays, ce sont les pouvoirs publics qui ont procédé à l'évaluation des activités du CGS national. Dans quatre autres pays, l'évaluation a résulté d'une collaboration entre une institution publique et le CGS (un cas), entre les pouvoirs publics et un institut de recherche (deux cas) et entre un institut de recherche et un CGS (un cas).

L'identité de l'entité qui effectue l'évaluation peut avoir une incidence sur les résultats. Une analyse des évaluations des programmes de soutien financier aux entreprises réalisée par Venetoklis (2000) suggère que les auto-évaluations peuvent être biaisées en faveur de résultats plus favorables, et l'étude de la littérature réalisée par Schich et al. (2016) est largement compatible avec cette hypothèse. Ces derniers observent que la fourchette des résultats des études universitaires indépendantes est plus large que celle des auto-évaluations, dans la mesure où Venetoklis (2000) identifie également des situations dans lesquelles les résultats ne sont pas uniquement positifs, tandis que Schich et al. (2016) identifient systématiquement des résultats positifs.

Cela étant, les réponses à l'enquête OCDE/CE n'ont pas apporté la preuve d'un tel biais : toutes les réponses indiquaient soit des résultats « positifs », soit des résultats « positifs/mitigés », indépendamment de la nature de l'entité ayant conduit l'analyse. En effet, aucun des pays ayant répondu à l'enquête ne signale d'effets négatifs (ou mitigés-négatifs) comme résultat général de l'évaluation considérée. À cet égard, les auto-évaluations ne diffèrent pas des autres types d'évaluations ayant été soumises à l'enquête OCDE/CE.

Cela dit, même si les résultats de l'enquête OCDE/CE n'identifient pas l'existence d'un biais en faveur de résultats positifs dans le cas des auto-évaluations, il peut toutefois être utile pour les pouvoirs publics d'envisager de « manière préemptive » le recours à des pratiques pouvant contribuer à minimiser tout biais potentiel de ce type. Un moyen évident d'éviter un tel biais en faveur de résultats positifs dans les auto-évaluations consiste à impliquer des chercheurs indépendants dans l'évaluation. Une telle pratique est déjà adoptée par de nombreux pays ayant répondu à l'enquête OCDE/CE ; elle est en outre compatible avec les commentaires des notes explicatives se rapportant au Principe 16 de la Banque mondiale/Initiative FIRST. Dans ce contexte, il convient toutefois de noter que les résultats des évaluations des chercheurs indépendants peuvent elles aussi être sujettes à un biais, bien que d'une nature quelque peu différente. En effet, les résultats des études universitaires peuvent être biaisés en faveur de l'identification de résultats significatifs sur le plan statistique, dans la mesure où de tels résultats sont plus simples à publier dans les revues à comité de lecture. Easterbrook et al. (1991), analysant 487 projets de recherche dont 52 % ont été publiés, ont constaté que les études présentant des résultats significatifs sur le plan statistique avaient plus de chances d'être publiées.

Dans la mesure où le CGS est impliqué dans l'évaluation, la mise en place d'un robuste cadre de gouvernance contribue à éviter tout biais éventuel. Ce cadre peut impliquer des « murailles de Chine » appropriées séparant les évaluateurs du bras opérationnel, comme c'est le cas pour au moins une des auto-évaluations couvertes par cette enquête. Une autre pratique utile impliquerait une amélioration de la transparence et de la disponibilité des données pertinentes, par exemple en les mettant à la disposition de tiers, y compris des instituts de recherche, afin de leur permettre de conduire leur propre évaluation. Les données devraient être suffisamment désagrégées et, dans l'idéal, inclure des informations portant à la fois sur les entreprises ayant demandé et obtenu une garantie de crédit et sur celles ayant demandé une garantie de crédit, mais n'en ayant pas obtenu. Dans ce contexte, il convient de noter que la Small Business Administration américaine rend publiques un nombre considérable de données qui pourraient faire – et font – partie de telles analyses.

En ce qui concerne la fréquence des évaluations, les réponses à l'enquête OCDE/CE suggèrent que les évaluations sont dans de nombreux cas effectuées de manière régulière, bien que ce ne soit pas toujours le cas. Dans certains cas, seules des évaluations ponctuelles sont disponibles et dans d'autres cas encore, aucune évaluation n'est disponible. Conformément aux deux ensembles de principes de haut niveau, des évaluations devraient être effectuées régulièrement (principes G20/OCDE) ou au moins périodiquement (principes Banque mondiale/Initiative FIRST). Ainsi il est possible, dans de nombreux pays, d'accroître la fréquence des évaluations effectuées.

Quelles sont les données collectées pour l'évaluation ?

Les réponses à l'enquête OCDE/CE suggèrent qu'aucune base de données unique n'est suffisante pour mener une évaluation rigoureuse des coûts et des avantages des activités des CGS. Des combinaisons de bases de données (par exemple bases de données administratives et bases de données commerciales) doivent être utilisées – et sont utilisées. Les réponses à l'enquête suggèrent également que des combinaisons de données primaires et secondaires peuvent être nécessaires, y compris par exemple afin de construire le contrefactuel. Dans l'idéal, le CGS devrait veiller à collecter et conserver des données pertinentes relatives à ses propres opérations, afin de faciliter les évaluations futures (Banque mondiale et Initiative FIRST, 2015), bien que cela ne soit pas toujours le cas en pratique, comme le montrent les réponses à l'enquête OCDE/CE. En effet, les réponses à l'enquête et l'examen de la littérature connexe suggèrent que la disponibilité limitée de données pertinentes continue d'être un obstacle majeur au développement d'études d'évaluation rigoureuses des programmes de soutien aux PME.

En ce qui concerne le niveau d'agrégation auquel les données devraient être considérées, il est préférable de réaliser des évaluations basées sur des données recueillies au niveau des entreprises, plutôt que sur des données recueillies à des niveaux plus élevés d'agrégation. Autrement, les deux types de données devraient être utilisés. Les avantages liés à l'étude de données recueillies au niveau des entreprises sont multiples. Premièrement, étudier des données recueillies au niveau des entreprises facilite les efforts visant à reconcevoir les programmes existants, lesquels ciblent essentiellement les entreprises. En effet, étudier des données recueillies au niveau des entreprises pourrait permettre de comprendre plus facilement quelles parties spécifiques des programmes fonctionnent et quelles parties ne fonctionnent pas, d'une part, et quelles sont les entreprises qui devraient être ciblées et quelles sont celles qui ne devraient pas l'être, d'autre part. Deuxièmement, les incidences des programmes sont bien plus faciles à détecter en utilisant des données recueillies au niveau des entreprises, en particulier parce qu'une analyse réalisée à un niveau d'agrégation plus élevé pourrait passer à côté d'effets significatifs, notamment en raison de problèmes de mesure. Troisièmement, réaliser une analyse contrefactuelle des données recueillies au niveau des entreprises permet d'obtenir des estimations plus fiables, compte tenu du nombre potentiellement plus important d'observations disponibles. En effet, l'hypothèse selon laquelle les entités dans les groupes « traité » et « non traité » sont identiques est plus plausible si elle est posée au niveau d'une entreprise plutôt qu'à des niveaux plus élevés d'agrégation, par exemple au niveau des régions ou des pays, etc.4

Un autre aspect qui doit être pris en considération est que toute évaluation incluant une analyse contrefactuelle nécessite que des données soient collectées non seulement en ce qui concerne la principale variable d'intérêt (politique), mais également en ce qui concerne d'autres variables. Ces données sont nécessaires pour tenir compte des différences dans les caractéristiques observables entre entreprises bénéficiaires et entreprises non bénéficiaires. Tenir compte de telles variables permet de démêler les effets du programme des effets dus à une hétérogénéité « préalable au traitement ». Des données suffisamment homogènes portant sur de telles variables de contrôle ont tendance à être plus facilement disponibles au niveau de l'entreprise qu'au niveau régional ou national.

Les réponses à l'enquête révèlent des lacunes dans la collecte de données relatives aux groupes de contrôle. En effet, les réponses indiquent que les données relatives aux entreprises qui ne sont pas bénéficiaires de programmes CGS sont rarement collectées. Il serait toutefois souhaitable que les CGS collectent également des informations sur les entreprises ayant demandé un soutien, mais n'en ayant pas obtenu. En l'absence de telles données, une approche alternative consiste à construire le groupe de contrôle en utilisant des données relatives à des entreprises n'ayant pas bénéficié du programme, même si une telle approche ne permet pas de distinguer les entreprises ayant demandé un soutien mais n'en ayant pas obtenu des entreprises n'ayant pas demandé de soutien. Faire la distinction entre ces deux groupes est toutefois important, dans la mesure où cela facilite les efforts visant à reconcevoir le programme en tenant compte des informations relatives aux entreprises ayant précédemment demandé un soutien mais n'en ayant pas obtenu. En particulier, décider de la taille d'un nouveau programme pourrait être une fonction de l'intérêt montré dans le passé par ces dernières pour un précédent programme. Il semblerait que les entreprises qui signalent leur besoin de financement en déposant une demande auprès de tels programmes, mais dont la demande de crédit a été refusée, constituent un groupe cible naturel pour un nouveau programme.

Par rapport à quels objectifs l'évaluation est-elle conduite et comment le contrefactuel est-il construit ?

Afin de déterminer dans quelle mesure les activités des CGS réussissent à pallier l'inconvénient d'un manque identifié de garanties suffisantes, les évaluations font généralement référence à l'un ou à l'ensemble des trois concepts différents que sont l'additionalité financière, l'additionalité économique et la viabilité financière5. Il s'avère que la plupart des pays ayant répondu à l'enquête OCDE/CE portant sur l'évaluation des CGS publics évaluent principalement l'additionalité financière et l'additionalité économique, et beaucoup moins la viabilité financière. Le nombre de pays qui indiquent les objectifs par rapport auxquels les activités du CGS sont évaluées est illustré par la taille des cercles figurant dans le schéma 2 (infra). En passant, on peut mentionner que par rapport aux études (principalement universitaires) passées en revue dans la troisième partie, les pays ayant répondu à l'enquête OCDE/CE semblent accorder davantage d'importance à l'évaluation de l'additionalité économique qu'à celle de l'additionalité financière.

En vue d'évaluer les effets des interventions politiques de manière rigoureuse, il est essentiel de construire un contrefactuel. En effet, sans le développement d'un contrefactuel, les études d'évaluation qui exploitent des données couvrant uniquement les entreprises traitées peuvent vérifier si les performances des PME se sont améliorées ou non après qu'elles ont reçu les prêts garantis, mais pas si cette amélioration est due ou non à l'intervention politique. Comparer, par exemple, les niveaux d'investissement des PME pendant la période ayant précédé l'intervention à ceux de la période ayant suivi l'intervention ne donne aucune information quant à la valeur ajoutée du programme, dans la mesure où une variation dans les performances peut être due soit à l'intervention politique, soit à d'autres facteurs. Cela étant dit, la construction du contrefactuel est généralement reconnue comme étant difficile, y compris par les principes de haut niveau récemment développés (voir aussi la discussion infra sur les exigences en matière de données).

L'enquête OCDE/CE révèle qu'une analyse contrefactuelle est menée dans le cadre de plus de la moitié des études d'évaluation. En règle générale, un contrefactuel est construit dans des évaluations dans lesquelles le CGS est apprécié par rapport à l'objectif d'additionalité économique. En principe, l'analyse contrefactuelle peut également être utilisée dans les cas où l'objectif de l'évaluation du CGS est d'identifier la viabilité financière ou l'additionalité financière. Par exemple, le CGS coréen n'est évalué que par rapport à l'objectif de viabilité financière et le CGS suisse n'est évalué que par rapport à l'objectif d'additionalité financière ; les deux évaluations de CGS sont toutefois basées sur une analyse du contrefactuel. Le schéma 2 (infra) montre également que de nombreuses évaluations prennent en compte à la fois l'additionalité économique et l'additionalité financière et que certaines évaluations prennent en compte l'additionalité économique, l'additionalité financière et la viabilité financière.

Remarque : ce schéma est basé sur les réponses à la question 18 : « Parmi les objectifs suivants, quel est celui qui est retenu dans l'étude pour évaluer le CGS ? (1) la viabilité économique (c'est-à-dire la capacité du CGS à dégager des ressources pour opérer) ; (2) l'additionalité financière (c'est-à-dire l'augmentation des flux financiers ou l'amélioration des critères d'octroi des fonds destinés aux PME viables et financièrement contraintes) ; (3) l'additionalité économique (c'est-à-dire l'effet sur le bien-être économique de l'amélioration de l'accès aux financements des PME bénéficiaires). » Chaque point représente une évaluation. La taille des cercles est proportionnelle au nombre d'évaluations relevant de la catégorie donnée. Les points noirs (blancs) indiquent que l'évaluation inclut (n'inclut pas) une analyse contrefactuelle. Cette dernière reflète les réponses obtenues à la question : « L'approche de l'évaluation mesure-t-elle le contrefactuel (par exemple, afin d'assurer la réalisation du principe selon lequel une intervention publique devrait être basée sur des défaillances identifiées du marché et empêcher l'élimination du développement d'autres solutions privées) ? »6.

Source : Schich et al. (2017).

Comment le résultat de l'évaluation intervient-il dans la prise de décisions opérationnelles ?

L'objectif final d'une évaluation est de fournir aux décideurs politiques des éléments solides en ce qui concerne l'efficacité du programme dans différentes dimensions. Elle devrait aider les décideurs politiques à prendre des décisions opérationnelles informées quant aux éléments de conception des programmes, qu'ils pourraient éventuellement ajuster en fonction de la synthèse des résultats de l'évaluation. Les réponses à l'enquête OCDE/CE révèlent en effet que la plupart des évaluations sont en réalité utilisées pour ce type de décisions opérationnelles (quinze réponses sur vingt-trois à cette question spécifique). En combinant les informations recueillies à partir des réponses à la question « Les résultats de l'évaluation ont-ils été utilisés pour prendre une décision opérationnelle relative au fonctionnement du dispositif de garantie du crédit ? » aux informa tions relatives à la fréquence des évaluations et au niveau des données considérées, le schéma 3 suggère que d'importantes conditions préalables pour que les résultats de l'analyse soient utilisés pour la prise de décisions opérationnelles pourraient être que les évaluations soient menées régulièrement et que des données recueillies au niveau des entreprises soient utilisées. Cela étant dit, une réponse suggère que des décisions opérationnelles bien informées peuvent être prises même en l'absence d'évaluations régulières s'appuyant sur des données recueillies au niveau des entreprises.

Remarque : chaque point représente une évaluation. Un point noir indique que l'évaluation inclut une analyse contrefactuelle ; un point blanc indique que l'évaluation n'inclut pas d'analyse contrefactuelle. Une évaluation ne comporte pas d'analyse contrefactuelle, n'utilise pas de données recueillies au niveau des entreprises, ne fait pas partie d'un calendrier régulier et ne prévoit pas que les résultats seront utilisés pour la prise de décisions opérationnelles. Cette évaluation est représentée sur le schéma par un point blanc situé en dehors des trois cercles. La taille des cercles est proportionnelle au nombre d'évaluations relevant de la catégorie correspondante.

Source : Schich et al. (2017).

Comment les pratiques effectivement mises en œuvre se comparent-elles aux pratiques pouvant être considérées comme de « bonnes pratiques » ?

En tenant compte également des résultats de l'analyse de la littérature et des principes de haut niveau récemment développés (G20/OCDE et Banque mondiale/Initiative FIRST), le présent rapport suggère que des évaluations devraient être effectuées régulièrement ou au moins pério diquement et qu'une évaluation systématique et rigoureuse inclut les éléments clés suivants :

• un objectif clair par rapport auquel mesurer la valeur ajoutée du programme. En particulier, trois objectifs différents devraient être pris en compte. Le plus simple est peut-être celui de l'additionalité financière, qui reflète la valeur ajoutée des activités des CGS en termes d'accroissement des flux de financement (ou de réduction de leurs coûts) dirigés vers les PME touchées par des restrictions de crédit. Plus important encore, il faudrait tenir compte de l'effet de ces activités sur l'économie (par exemple, variation en termes d'emploi, d'investissement, de croissance, etc.). Par ailleurs, il est important d'évaluer la viabilité financière du programme, autrement dit, de déterminer si les activités des CGS sont conçues et gérées de façon à ce qu'elles n'engendrent pas de pertes financières substantielles (par exemple, lorsque les primes collectées ne sont pas suffisantes). Il est suggéré ici que ce qui peut être considéré comme de « bonnes pratiques d'évaluation » implique non seulement d'évaluer l'additionalité financière, mais également l'additionalité économique ainsi que la viabilité financière. En outre, une évaluation plus ambitieuse vérifierait également si la défaillance du marché initialement identifiée que le CGS est censé pallier persiste encore, et déterminerait ce que pourrait être l'effet des autres choix politiques ;

• afin de garantir l'efficacité, une évaluation indépendante est préférable aux auto-évaluations. L'efficacité des auto-évaluations peut être garantie à condition de mettre en place un cadre de gouvernance approprié, même si le renforcement de la collaboration avec des instituts de recherche indépendants ou d'autres instituts indépendants est également propice à l'efficacité des évaluations ;

• une analyse contrefactuelle doit être développée afin de comprendre ce qui se serait passé en l'absence de l'intervention politique. Dans ce contexte, il est important de collecter des données détaillées portant et sur les entreprises bénéficiaires et sur les entreprises écartées, à la fois en ce qui concerne la variable d'intérêt politique clé (par exemple, l'emploi, la croissance) et en ce qui concerne d'autres variables de contrôle (par exemple, l'âge de l'entreprise). Les données recueillies au niveau des entreprises sont préférables à celles recueillies à des niveaux plus élevés d'agrégation, dans la mesure où elles facilitent une analyse plus rigoureuse et où les résultats se prêtent plus naturellement à des modifications dans la conception des programmes. Il est toutefois bien entendu que la construction d'un contrefactuel solide demeure un important défi.

Les réponses mettent l'accent sur le fait que les approches d'évaluation varient grandement entre CGS évalués et entre pays. La synthèse des réponses donne à penser que plusieurs évaluations suivent de « bonnes » pratiques, mais elle identifie également des possibilités d'amélioration. Le tableau infra résume ces observations.

Source : grille d'analyse fondée sur Schich et al. (2017).

Conclusion

Les décideurs politiques ont reconnu la nécessité d'évaluer les coûts et les avantages des CGS publics. De telles évaluations peuvent servir à modifier le design des programmes de garantie financière existants, de sorte qu'ils fonctionnent de manière plus efficace et à relancer le soutien politique aux PME. Les résultats issus de l'enquête OCDE/CE sur l'évaluation des programmes publics de garantie financière dédiés aux PME laissent toutefois entendre qu'il existe un décalage considérable dans de nombreux pays entre pratiques réelles et pratiques qui pourraient être considérées comme de « bonnes pratiques ». De plus, les pays n'effectuent pas tous une analyse coûts-avantages. Même s'ils le font :

• plusieurs évaluations tiennent compte de l'objectif d'additionalité financière, mais peu sont conduites en tenant compte de l'objectif d'additionalité économique. Les évaluations menées en tenant compte de l'objectif de viabilité financière sont encore moins nombreuses : moins de la moitié des évaluations s'intéressent à l'adéquation de la prime reçue. Ainsi on ne vérifie pas toujours dans quelle mesure l'intervention publique est pertinente du point de vue économique, ni si elle est financièrement durable ;

• plusieurs évaluations ne sont pas rigoureuses au sens où elles n'intègrent pas d'analyse contrefactuelle pertinente. Ainsi il est difficile de déterminer si l'intervention politique a eu une incidence positive sur les résultats, puisqu'on ne peut comparer cette situation à une situation où l'intervention n'a pas eu lieu. Cette observation est étonnante étant donné que les budgets fiscaux ont tendance à être restreints et que les décisions concernant les ressources non utilisées doivent être prises au regard d'utilisations concurrentes ;

• enfin, il n'est pas toujours évident de savoir si et comment les résultats des évaluations sont utilisés afin d'ajuster les paramètres de conception des programmes de garantie du crédit, de sorte à permettre aux programmes de fournir un soutien aux PME de la manière la plus efficace qui soit. Quoi qu'il en soit, il est possible dans plusieurs États d'augmenter la fréquence des évaluations effectuées. Fait préoccupant, certaines évaluations sont exclusivement des auto-évaluations, ce qui a tendance à donner lieu à des évaluations trop favorables.

Ces observations s'appliquent à l'ensemble des vingt-quatre pays ayant répondu à l'enquête OCDE/CE et il est plausible de supposer que les pays ayant choisi de ne pas rendre compte de leurs propres pratiques d'évaluation dans le cadre de cette enquête ont tendance à avoir des approches moins sophistiquées, si tant est qu'ils en aient, en ce qui concerne ces évaluations. Les résultats de l'enquête rappellent que les programmes de soutien publics existants doivent faire l'objet d'une évaluation plus minutieuse, en particulier dans la mesure où est envisagée la mise en œuvre de nouveaux programmes de soutien qui sont en concurrence pour des ressources fiscales limitées.