Il est très difficile d'évaluer empiriquement l'efficacité et les inconvénients d'un traitement. En dehors de l'effet placebo bien connu, le problème principal consiste à distinguer l'effet du traitement du mécanisme de choix des patients traités. De manière caricaturale, un traitement apparaitra efficace s'il est administré à des malades peu atteints dont les chances de guérison sont élevées. On parle dans ce cas de biais de sélection dans le choix des individus traités ou non traités. La pratique courante pour éviter cette difficulté est d'effectuer des essais « randomisés » dans lesquels le groupe des patients traités et le groupe témoin des patients non traités sont tirés au sort. On renforce ce mécanisme en imposant aux  médecins prescripteurs d'ignorer quel patient est traité et quel patient est non traité. On parle alors d'essai en double aveugle.

Un problème éthique

Si cette construction est intellectuellement satisfaisante, elle est difficile, si ce n'est impossible, à mettre en œuvre. La première difficulté est d'ordre éthique : dans le cas d'affections graves mettant en jeu la vie des patients est-il acceptable de priver un malade d'un traitement dont on pense, à priori, qu'il est bénéfique ? Ne doit-on pas au moins donner le choix du traitement au malade ce qui naturellement détruirait la procédure d'affectation par tirage au sort ? On peut contourner cet obstacle en demandant au patient son consentement à participer à l'essai et on peut imposer de soigner le groupe témoin par les meilleurs procédés autres que celui dont on veut examiner l'effet.

Un défi statistique

La seconde difficulté est d'ordre statistique. Sauf pour des échantillons très grands, il est vraisemblable que les personnes traitées et le groupe témoin n'auront pas les mêmes caractéristiques, même si le choix des groupes relève d'un tirage stratifié (par âge, sexe). Plutôt que de comparer l'effet du traitement chez les personnes traitées et non traitées, il faut se demander comment auraient évolué les patients traités, s'ils ne l'avaient pas été, et quelle aurait été l'évolution du groupe témoin si ses membres avaient reçu le traitement. On introduit ici des évènements par nature inobservables (« counterfactuals » dans la littérature anglo-saxonne).

Des solutions récentes

Il faut toutefois noter que les statisticiens (J. Robins et J. Heckman notamment) ont développé des méthodes permettant de résoudre ce problème de représentativité. Très schématiquement, il s'agit d'intégrer dans la procédure d'évaluation la distribution des caractéristiques des patients de chaque groupe, ainsi que le mécanisme d'affectation entre les groupes. Dans une situation dramatique, telle que nous la connaissons aujourd'hui, ces méthodes d'évaluation de traitements pourraient être utilisées sur des échantillons de petite taille, avec d'éventuels biais de sélection. Les techniques statistiques pourraient ainsi accélérer la découverte d'un traitement, à condition qu'on les utilise correctement.