Son mérite fut d’accomplir ce que Sully et Richelieu avaient rêvé et ce que le modéré Le Tellier avait entrevu sans passion.
Il y avait dans la constitution de l’armée française certains vices organiques qui rendaient l’œuvre des réformes à la fois très nécessaire et très difficile. De grandes charges militaires presque indépendantes s’y opposaient à la concentration de l’autorité entre les mains du ministre. La vénalité des régimens et des compagnies y rendait l’avancement lent et difficile, et divisait l’armée en une infinité de parcelles dont chacune avait son propriétaire, seul chargé, en échange de la prime de levée et de la solde que lui fournissait le roi, de recruter, d’équiper et de faire vivre le soldat. L’ancien usage du roulement envenimait les rivalités et multipliait les conflits entre les généraux du même grade, en leur donnant le commandement à tour de rôle. L’incohérence dans l’impulsion supérieure, la discorde parmi les généraux, l’insubordination et la friponnerie des officiers, la misère, la dépravation et la désertion des soldats, une disproportion scandaleuse et dangereuse entre l’effectif supposé et l’effectif réel, « des compagnies fortes pour le paiement et faibles dans le service, » tels étaient les fruits naturels du système ; mais le système était si intimement lié avec l’état social qu’aucun homme de sens ne pouvait songer à le saper par la base. Combattre le mal sans en détruire radicalement la cause, c’est après tout la condition de l’humanité. L’esprit positif de Louvois n’avait pas les prétentions surhumaines de l’esprit révolutionnaire. Résigné à ne pas opérer une guérison brusque et définitive, mais décidé à appliquer sans cesse au mal d’énergiques correctifs, il arriva peu à peu à développer dans l’armée les qualités les plus contraires à sa constitution, l’esprit d’ordre, d’unité, d’obéissance, de hiérarchie, de probité, et il en fit l’un des instrumens les plus sûrs dont la politique française ait jamais disposé.
Le cardinal de Richelieu avait profité de la mort du duc de Lesdiguières pour supprimer la charge de connétable. Le Tellier avait profité de la mort du duc d’Épernon pour supprimer la charge de colonel-général de l’infanterie. Louvois laissa subsister celles de colonel-général de la cavalerie et de grand-maître de l’artillerie ; mais, incessamment envahies par sa persévérante usurpation, ces charges furent réduites par lui à des privilèges purement honorifiques, et le pouvoir militaire fut enfin concentré dans la main du roi. Louvois accomplit une œuvre non moins indispensable en mettant fin aux conflits entre les chefs de l’armée par l’ordonnance du 1er août 1675, qui supprima l’ancien usage du roulement et fonda la hiérarchie militaire sur la base solide de l’ancienneté du grade. Il ne détruisit pas la vénalité des régimens et des compagnies ; mais,
