Pour les partisans de la suppression de l'ISF, les expatriations auraient un impact tel sur l'économie française qu'il serait économiquement plus efficace et budgétairement plus rentable de supprimer cet impôt. Pour appuyer ces vues, ce discours véhicule la peur de la perte de richesses et, plus globalement, du déclin économique de la France ; il s'appuie sur des évaluations plus ou moins dramatisées et fantaisistes, rarement, étayées... S'il semble a priori logique sur le plan théorique, ce discours se heurte toutefois aux faits. Si les données de Bercy, reprises dans les travaux parlementaires et du Conseil des prélèvements obligatoires, permettent une mesure régulière des départs, elles ne rendent compte que rarement des retours et jamais des installations d'étrangers en France, dont certains peuvent pourtant potentiellement se retrouver à payer l'ISF. Elles montrent que les départs de redevables de l'ISF représentent moins de 0,15 % du nombre de ces redevables et 0,6 % du rendement de l'ISF. Les bases imposables des départs représentent 0,5 % de la base totale imposable à l'ISF. Mais en réalité, la valeur des bases délocalisées est encore plus faible. En effet, lors d'une expatriation, l'immobilier (40 % de la base de l'ISF) demeure implanté sur le territoire national. En outre, les personnes qui s'expatrient disposent souvent, avant leur départ, de placements à l'étranger : l'expatriation ne se traduit donc pas dans un tel cas par une perte pour l'économie française. Il y a mieux : après leur départ, de nombreux expatriés conservent des placements en France (7.300 expatriés français bénéficient ainsi de l'exonération d'ISF applicable aux placements financiers). Pour mesurer l'impact « net » réel de flux entrants et sortants, il faudrait donc déduire de ces données brutes, déjà marginales, celles relatives aux retours et aux installations d'étrangers en France. Or, de telles données manquent cruellement au débat fiscal, ce qui empêche de déterminer précisément l'impact réel des expatriations et des impatriations fiscales.
Au-delà de ces éléments quantitatifs, il est rare que les motivations des départs, des retours et des installations d'étrangers en France soient analysées. C'est très dommageable car cela éclairerait le débat sur les vrais motifs des départs. Parmi les rares travaux existants sur le sujet, on citera une étude du cabinet Ernst & Young, reprise en 2004 par le Conseil des impôts, qui plaçait la fiscalité en huitième place dans les motivations d'un départ à l'étranger. Ces conclusions confirmaient celles du rapport du Sénat sur l'expatriation de 2001 qui montrait que, sur 25 raisons avancées par les expatriés diplômés d'HEC, l'imposition des revenus arrivait en 9e place, l'ISF en 21e place et les droits de succession en dernière place.
Si une étude des flux entrants et sortants exhaustive, quantitative et qualitative, reste donc à faire, l'impact réel des expatriations sur le budget et l'économie française apparaît faible voire marginal. Ces données éclairent en revanche sur la nature des choix fiscaux du moment (orientés vers une poignée de contribuables). Elles montrent surtout que des marges de manoeuvre existent pour une autre fiscalité du patrimoine. Laquelle et comment ? Nombreux sont ceux qui pensent qu'une refonte de l'assiette de l'ISF est nécessaire. Le patrimoine moyen des ménages oscille autour de 200.000 euros. Imposer un patrimoine net à partir de 800.000 euros n'a rien de scandaleux. Mais pour qu'un impôt sur le patrimoine soit compris et équilibré, il doit être dépourvu d'effets pervers. Tel n'est pas le cas avec l'ISF, son assiette autorisant une défiscalisation outrancière grâce aux niches fiscales (1,3 milliard d'euros, un tiers de son rendement). D'où quelques idées simples : en supprimant les niches fiscales de l'ISF, en substituant au seuil d'entrée et à l'abattement de 30 % sur la résidence principale un abattement général et un abattement sur la résidence principale en montant (abattements de 400.000 à 500.000 euros chacun, autour desquels pourraient aussi s'articuler les droits de mutation à titre gratuit), on rendrait l'imposition du patrimoine plus lisible, plus équilibrée et au moins aussi rentable.
