Knihovna VHÚ Praha prošla za dobu své existence několika organizačními proměnami. Za její předchůdkyně se dají považovat tři instituce, které vznikly v prvním a druhém desetiletí 20. století.
První institucí byl Archiv národního osvobození, který byl zřízen v roce 1919 při Zemském archivu. V říjnu téhož roku byl založen ministerstvem obrany Památník odboje za účelem shromažďování materiálů a dokumentů, které s sebou přiváželi vracející se českoslovenští legionáři. Práce Archivu národního osvobození a Památníku odboje byla v podstatě shodná a duplikovala se, proto byl předložen návrh na rozdělení úloh jednotlivých institucí. V roce 1924 byl založen Vojenský archiv Republiky československé (RČS), který vznikl ze zrušeného archivu tehdejšího ministerstva obrany. Ve stejném roce bylo zřízeno Vojenské museum, jehož vybudování bylo již v roce 1920 svěřeno Vědeckému ústavu vojenskému.
V roce 1926 došlo k odloučení Vojenského musea od Vědeckého ústavu vojenského a následně k jeho přičlenění k Vojenskému archivu RČS. V roce 1926 tedy existovaly tři instituce s velmi podobným zaměřením a úkoly. Dne 28. října 1929 byly všechny tři sloučeny v jednu – v Památník osvobození, který byl umístěn na vrch Vítkov a zahrnoval dvě budovy: na úpatí byla vystavěna účelová budova a na vrcholu budova Mauzolea a Pantheonu s monumentální sochou Jana Žižky z Trocnova (socha byla osazena až po 2. světové válce). V roce 1929 byly knihovna Archivu národního osvobození a Knihovna Památníku odboje sloučeny do jedné instituce, ale obě knihovny ještě pracovaly odděleně.
Dne 9. září 1939 byl Památník osvobození na rozkaz říšského protektora německou tajnou policií uzavřen a zapečetěn. O zaměstnance ústavu – vojáky i civilisty – se z větší části postaralo ministerstvo školství, které jim zajistilo nová působiště. V době protektorátu se ze sbírek knih Památníku osvobození a z dokumentů svezených sem ze zrušených českých útvarů a ústavů stala pražská pobočka berlínské Heeresbücherei.
S poválečnou obnovou ústavu bylo současně započato rovněž s rekonstrukcí obou knihoven. Práce spojená se shromažďováním rozptýlených sbírek včetně nábytku vyžadovala značnou námahu i čas, stejně tak jako zajišťování stavu a úplnosti navrácených fondů, které bylo značně ztíženo neúplností evidenčních záznamů. U Knihovny Vojenského historického musea byla práce navíc komplikována ztrátou přírůstkových seznamů. Ale již v roce 1946 začala knihovna plnit své základní úkoly.
V roce 1945 byl na základech Památníku osvobození založen Vojenský historický ústav, který převzal knihovní fondy do své správy a dále je rozšiřoval. V roce 1965 došlo ke sloučení Knihovny VHÚ a Knihovny Vojenského historického musea. V poválečném období směřovala do fondů vojenské muzejní knihovny také část dokumentů ze svozů ze zrušených zámeckých knihoven. V roce 1969 byla ke Knihovně VHÚ přidružena Knihovna Vojenské politické akademie Klementa Gottwalda a po šesti letech došlo k jejich sloučení.
Po roce 1989 začala novodobá éra knihovny. Za zmínku stojí zejména zpřístupnění dosavadních tzv. prohibit (šlo především o literaturu legionářskou, o literaturu o prvním a druhém odboji a západním odboji) a doplňování fondů o literaturu zaměřenou na československé legie a západní odboj.
Fond i prostory Knihovny VHÚ Praha byly významně rozšířeny v roce 2008, kdy Vojenský historický ústav převzal po zrušené Agentuře vojenských informací a služeb (AVIS) bývalou Ústřední odbornou knihovnu MO ČR, sídlící v budově někdejšího Vojenského zeměpisného ústavu v Praze-Bubenči. Fond této knihovny byl budován od 60. let minulého století pod hlavičkou tehdejšího Technického informačního střediska MNO a později Ústředního vědeckoinformačního střediska ČSLA (do r. 1991). Než přešla pod AVIS, spadala knihovna v 90. letech pod Ústav vojenských vědeckých informací (1991–1994) a Ústav obranných studií AČR (1995–1997).
Po začlenění výše zmíněné knihovny byly v rámci Knihovny VHÚ Praha vytvořeny dva samostatné referáty (Referát historických fondů a Referát speciálních fondů), které byly od 1. 10. 2012 sloučeny do jediné integrované knihovny se dvěma detašovanými pracovišti na Žižkově a v Rooseveltově ulici v Praze-Bubenči.