Urodził się 9 września 1914 r. w Sarniej Zwoli. Ukończył Seminarium Nauczycielskie w Kielcach i rozpoczął studia historyczne na Uniwersytecie Jagiellońskim. Służbę wojskową odbył w 4 Pułku Piechoty Legionów w Kielcach. Pracował jako nauczyciel i instruktor Związku Strzeleckiego i Przysposobienia Wojskowego.
W czasie okupacji pracował również jako nauczyciel a od listopada 1939 r. był żołnierzem konspiracji. Od lutego 1943 r. był szefem radomskiej Ekspozytury wywiadu AK i przyczynił się m.in. do wykrycia niemieckich przygotowań do użycia broni chemicznej na froncie wschodnim i lokalizacji miejsca produkcji pocisków V-1. Po wyzwoleniu organizował siatkę wywiadu Okręgu Kieleckiego Zrzeszenia „Wolność i Niezawisłość”. Aresztowany w 1947 r. i objęty amnestią, wrócił do rodzinnych Bielin. Pracował jako nauczyciel i urzędnik kończąc też zaoczne studia rolnicze na Uniwersytecie Jagiellońskim.
Na arenie politycznej pojawił się we wrześniu 1980 r. jako jeden z organizatorów NSZZ Rolników „Solidarność Wiejska” na Kielecczyźnie. Na zjeździe zjednoczeniowym ruchu ludowego, który powołał NSZZ RI „Solidarność”, wybrany był członkiem Ogólnopolskiego Komitetu Założycielskiego. Równolegle był przewodniczącym Wojewódzkiego Komitetu Założycielskiego NSZZ RI „Solidarność” w Kielcach. We wrześniu tego roku był sygnatariuszem deklaracji założycielskiej Klubów Służby Niepodległości. Po wprowadzeniu 13 grudnia 1981 r. stanu wojennego ukrywał się w Warszawie. W 1982 r. współzakładał Ogólnopolski Komitet Oporu Rolników za co został aresztowany w grudniu 1983 r. Zwolniony w maju 1984 r. kontynuował działalność podziemną więc ponownie trafił do aresztu i jako „najstarszy więzień PRL-u” stał się symbolem opresyjności reżimu. W sierpniu 1986 r. został zwolniony na podstawie amnestii. W czerwcu 1989 r. Józef Teliga został przewodniczącym Tymczasowego Zarządu odbudowującego się PSL. Był też inicjatorem reaktywowania PSL w województwie kieleckim. Przed wyborami parlamentarnymi w 1991 r. rozstał się jednak z PSL przechodząc do Polskiego Forum Ludowo–Chrześcijańskiego „Ojcowizna”. Po obradach Okrągłego Stołu zaczął stronić od bieżącej polityki i zaangażował się jedynie w Ruch Jednomandatowych Okręgów Wyborczych.
Od 1989 r. działał w Stowarzyszeniu Polskich Kombatantów w Kraju i został awansowany do stopnia pułkownika. Był również honorowym członkiem Kapituły Funduszu Stypendialnego im. rektora UJ ks. Karola Teligi w Bielinach dla uzdolnionych uczniów gminy, z której pochodził. Pod koniec życia mieszkał w Warszawie. Zmarł 26 grudnia 2007 r. w wieku 93 lat. Spoczywa na Cmentarzu Nowym w Kielcach.
Jego imię otrzymała w 2013 r. dotychczasowa ulica Gen. Zygmunta Berlinga na przedmiejskim osiedlu Ostrogórka.