Défenseur de l’amnistie pour les Communards, et anticlérical, il prône la séparation des Églises et de l’État et s’oppose à la colonisation, faisant tomber le gouvernement Jules Ferry sur cette question. Fondateur du journal La Justice et de la Société des droits de l’homme et du citoyen, il travaille ensuite à L’Aurore et prend une part active dans la défense du capitaine Dreyfus. Il ne cessa de militer en faveur de la restitution de l’Alsace-Moselle, perdues à la suite de la défaite de 1871.
Le Tigre, qualifié de « Père la Victoire » en raison de son action pendant la guerre, très populaire dans l’opinion publique, il renonce néanmoins à se présenter à l’élection présidentielle de janvier 1920 après avoir été mis en minorité lors du vote préparatoire du groupe républicain. Il quitte alors la tête du gouvernement et se retire de la vie politique.