Urodził się 25 grudnia 1895 r. w Piotrkowie Trybunalskim, gdzie ukończył gimnazjum, a następnie studia w Wyższej Szkole Technicznej im. Wawelberga i Rotwanda w Warszawie. W 1913 r. wstąpił do Drużyn Strzeleckich, od sierpnia 1914 r. walczył w Legionach Polskich, po ich rozwiązaniu internowany w obozie dla oficerów w Beniaminowie. Walczył w wojnie polsko-radzieckiej, później szybko awansował, ukończył Szkołę Wojenną Sztabu Generalnego. W 1924 r. awansował do stopnia podpułkownika. Po zamachu majowym pracował w Inspektoracie Armii, założył czasopismo „Przegląd Wojskowy”. Od lutego 1930 r. objął dowództwo 55 Pułku Piechoty w Lesznie, a w 1935 r. dowodzenie brygadą „Podole” Korpusu Ochrony Pogranicza w Czortkowie. W 1938 r. został dowódcą piechoty dywizyjnej 2 Dywizji Piechoty Legionów w Kielcach. W czerwcu 1939 r. przystąpił do organizowania brygady pancerno-motorowej, z którą we wrześniu wyruszył na front.
Po klęsce Polski we wrześniu 1939 r. pozostał w kraju i włączył się w działalność konspiracyjną. Już w październiku został zastępcą Komendanta Głównego i Szefem Sztabu Służby Zwycięstwu Polski. W grudniu 1939 r., został mianowany Komendantem Obszaru nr 1 (Warszawa) Związku Walki Zbrojnej, co w praktyce oznaczało zwierzchność na całym obszarze okupacji niemieckiej. 3 maja 1940 r. otrzymał awans na stopień generała brygady, a 30 czerwca tego roku został mianowany Komendantem Głównym ZWZ.
Był zwolennikiem prowadzenia czynnej walki z nieprzyjacielem na obszarze okupowanego kraju. W 1940 r. doprowadził do podporządkowania Związkowi Walki Zbrojnej w ramach tzw. akcji scaleniowej innych organizacji podziemnych. W okresie okupacji gen. Rowecki nie zrezygnował ze swej działalności wydawniczej. Najgłośniejszą pracą z tego okresu jest publikacja „Czy wrzesień 1939 r. okrył niesławą Naród Polski?”.
30 czerwca 1943 r. został aresztowany przez Niemców w Warszawie i przewieziony do Berlina, gdzie Niemcy usiłowali go nakłonić do zorganizowania współpracy Armii Krajowej przeciwko nadciągającej ze wschodu Armii Czerwonej. Wobec zdecydowanej odmowy, 16 lipca 1943 r., przewieziono go do obozu koncentracyjnego w Sachsenhausen, gdzie został zamordowany najprawdopodobniej w sierpniu 1944 r., kilka dni po wybuchu Powstania Warszawskiego.
Jego pamięci poświęcona jest tablica na domu przy ul Żelaznej.
W 1981 r. jego imię otrzymała ulica, wcześniej gen. Władysława Sikorskiego na przedmiejskim osiedlu Ostrogórka.