Narodil se 8. dubna 1912 v obci Poluvsie u Žiliny. Po vychození obecné a měšťanské školy v Rájeckých Teplicích odešel do Čech, kde se v letech 1927 až 1932 vyučil kovářem a zámečníkem a absolvoval dva roky pokračovací školy. Vojenskou prezenční službu nastoupil v roce 1932 v Košicích. Po jejím skončení v roce 1934 se stal délesloužícím poddůstojníkem až do roku 1937. Poté pracoval jako civilní zaměstnanec vojenské továrny VT-4 na výrobu bojových plynů v Žilině a po úrazu byl přeložen do skladu v Trenčíně.
V červnu 1939 odešel do Polska a vstoupil do československé vojenské skupiny. Tam se také setkal s pozdějším nerozlučným kamarádem – Janem Kubišem. Následovala cesta do Francie, severní Afriky a po vypuknutí války zpět do Francie. Během bojů v červnu 1940 se vyznamenal a po pádu Francie odplul do Velké Británie. Absolvoval rotmistrovský kurz a českoslovenští zpravodajci jej vybrali pro speciální úkoly na území okupované vlasti. Josef Gabčík byl účastníkem prvního sabotážního kurzu ve Skotsku, po němž následoval parašutistický kurz v Ringway.
Prvním impulzem k operaci ANTHROPOID byl nástup Reinharda Heydricha do funkce zastupujícího říšského protektora na území Protektorátu Čechy a Morava na konci září 1941. Okamžitě nechal popravit elitu předválečné armády – představitele odbojové organizace Obrana národa. Českoslovenští zpravodajci proto připravili plán odvety. Cílem útoku se měl stát buď Heydrich, nebo K. H. Frank. Původně byl pro operaci vybrán Josef Gabčík s Karlem Svobodou. Ten se však při zdokonalovacím výcviku zranil a byl nahrazen Janem Kubišem. Samotný útok měl být proveden symbolicky již 28. října 1941, avšak kvůli průtahům byla skupina vysazena teprve na konci prosince.
Výsadek byl oproti původnímu plánu proveden nedaleko Prahy, odkud se skupina musela dostat do Plzně na záchytné adresy. Zakrátko se parašutistům podařilo navázat spolupráci se sokolským odbojem, čímž získali spolehlivou síť pomocníků a důležitých kontaktů. Vrchol operace nastal 27. května 1942, kdy oba parašutisté v Praze-Libni zaútočili na projíždějícího Heydricha a způsobili mu smrtelné zranění, jemuž podlehl 4. června. Parašutisté se poté ukryli v chrámu sv. Cyrila a Metoděje v Praze, kde 18. června padli v boji s nepřátelskou přesilou.