Urodził się 5 grudnia 1867 r. w Zułowie pod Wilnem, w zamożnej rodzinie ziemiańskiej. Po ukończeniu gimnazjum w Wilnie w roku 1885 rozpoczął studia medyczne na Uniwersytecie w Charkowie, gdzie związał się z ruchem socjalistycznym i za udział w studenckich rozruchach został wydalony z uczelni. Za zaangażowanie w działalność wileńskich socjalistów w 1887 r. został aresztowany i zesłany na pięć lat na Syberię. W 1894 r. został członkiem Centralnego Komitetu Robotniczego i redaktorem naczelnym wydawanego przez PPS pisma „Robotnik”. Po ponownym aresztowaniu uciekł i przedostał się do Galicji. W 1904 r. wyjechał do znajdującej się w stanie wojny z Rosją Japonii, gdzie prowadził z rządem Mikada negocjacje zmierzające do utworzenia przy japońskiej armii legionu polskiego. Kiedy w roku 1906 doszło do rozłamu w PPS związana z Piłsudskim grupa założyła planującą powstanie przeciwko caratowi PPS-Frakcję Rewolucyjną .
W roku 1910 w zaborze austriackim powołano dwie legalne organizacje „Związek Strzelecki” we Lwowie oraz „Towarzystwo Strzeleckie” w Krakowie, dwa lata później Piłsudski został Komendantem Głównym Związków Strzeleckich. W chwili wybuchu I wojny światowej stanął na czele dobrze wyszkolonych oddziałów, z którymi 6 sierpnia 1914 r. wkroczył do Królestwa Polskiego, dochodząc 12 sierpnia do Kielc. Utworzył Legiony Polskie i dowodził ich I Brygadą, w ścisłej konspiracji natomiast powołał do życia Polską Organizację Wojskową. Kiedy w roku 1917 r. Legiony odmówiły złożenia przysięgi na wierność Austrii i Niemcom, Piłsudski został aresztowany i osadzony w więzieniu w Magdeburgu, gdzie przebywał do listopada 1918 r.
Po klęsce Niemiec przyjechał do Warszawy, gdzie otrzymał naczelne dowództwo nad polskimi wojskami i 22 listopada funkcję Tymczasowego Naczelnika Państwa. Następnie skupił się na obronie odzyskanej przez Polskę niepodległości. W latach 1919-1921 dowodził w wojnie polsko-radzieckiej zakończonej pokojem w Rydze, na mocy którego Polska odzyskała Wschodnią Galicję. W marcu 1920 r. otrzymał buławę Pierwszego Marszałka Polski.
W roku 1923 wycofał się z czynnego życia politycznego. Jednak, w obliczu narastającego w kraju chaosu, 12 maja 1926 r. wkroczył do Warszawy i po trzydniowych walkach przejął władzę. Autorytet i poparcie społeczne umożliwiły mu sprawowanie autorytarnej władzy. W polityce zagranicznej dążył Piłsudski do utrzymania dobrych stosunków z ZSRR i Niemcami zawierając z nimi pakty o nieagresji. Obie umowy miały wzmocnić pozycję Polski wobec naszych sojuszników i sąsiadów. Zmarł 12 maja 1935 r., został pochowany na Wawelu.
Piłsudski wielokrotnie potwierdzał silny związek z Kielcami, w których w 1937 r. otwarto poświęcone mu muzeum w zajmowanych przez niego w latach I wojny światowej pomieszczeniach pałacu biskupiego.
Osoba Józefa Piłsudskiego jest wielokrotnie upamiętniona w mieście, m. in. poprzez pomnik konny na pl. Wolności.
Jego imię otrzymała w **** długa ulica w osiedlu Na Stoku, oraz w 2013*** plac przed budynkiem dawnego Domu Wychowania Fizycznego i Przysposobienia Wojskowego, także mu poświęconego.