Při výstavbě nového kulturního domu v Pusté Kamenici, bylo uvažováno o jeho využití též jako tělocvičny, která doposud v obci scházela.
Z popudu předsedy kulturně školské komise při MNV B. Chvály byli pozváni na den 3. prosince 1962 do úřadovny MNV funkcionáři OV tělovýchovy ze Svitav, kteří seznámili zástupce obce s možnostmi založení TJ v obci a pohovořili o práci v TJ.
Na základě dohody se ujal předseda komise zpracování dokumentace založení TJ i vlastní organizace příprav zakládající členské schůze. Tato byla svolána na den 24. prosince 1962 od 14:00 hodin, které se zúčastnilo 31 zakládajících členů.
Zvolen byl první výbor ve složení:
předseda - Novák Jaroslav
jednatel - Češka Josef
hospodář - Hamerník Lumír
pokladník - Halamka Miloslav
náčelník - Háněl Josef
Jako cvičitelé byli získáni:
žákyně - Kašparová Eva, Luňáčková Eva
žáci - Nešický Zdeněk, Nunvář František
dorostenky - Vařečková Helena
dorostenci - Chvála Bohuslav
Přihlásilo se celkem 31 členů dospělých a 43 členů z řad žactva a dorostu. Celkem k datu založení měla TJ 74 členů, z nichž 68 aktivně cvičilo, což činilo 14% všech obyvatel obce.
Při založení TJ jsme obdrželi od OV TJ částku 1000,-Kčs, za které byly zakoupeny míče a ostatní drobné cvičební nářadí. O cvičení byl značný zájem, i když vybavení bylo dosud neuspokojivé. V lednu 1963 jsme obdrželi od OV TJ cvičebního koně. Nebyly však žíněnky. Zde nám pomohli někteří občané věnováním vyřazených matrací. Normální, kožené žíněnky byly zajištěny v průběhu roku 1963. První cvičení bylo zahájeno u chlapců dne 9.1.1963 a dívky 10.1.1963.
V dalších letech byli zvoleni do funkce předsedy p. Luboš Kyncl, Bohuslav Chvála a Milena Sršňová. Cvičilo se ve družstvech v zimním období 1x a v letním období 2x v týdnu. Mimo cvičení byly organizovány různé soutěže, ze kterých vítězové postupovali do okresních kol. Bylo dokoupeno zařízení na stolní tenis a ustaveno družstvo, které se zúčastňovalo obvodních soutěží. V zimním období byl stříkán led a hrána utkání v ledním hokeji ze sousedními obcemi.
Ke zlepšení finanční situace TJ začaly být organizovány sokolské šibřinky. První šibřinky se konaly v roce 1964 pod názvem "Ledový květ". Návrhu a organizace se ujal p. František Cach. Na akci se pracovalo celý měsíc. Vznikla velkolepá výzdoba zimního království, která nikdy nebyla překonána. Návštěvnost na šibřinkách 400 - 500 lidí nebývala výjimkou.
Další období v činnosti Tělovýchovné jednoty Pustá Kamenice (TJ PK) započalo v r. 1976. Tehdy se předsedou stal Jan Oplištil, který tuto funkci zastával 25 let. V lednu 2001 na jeho práci navázal Milan Sršeň, jenž tuto funkci vykonává do součastnosti.
Počet členů v r. 1976 byl 86, do r. 2003 se zvýšil na 126. Členskou základnu TJ PK tvoří naprostá většina aktivního obyvatelstva obce. Menší podíl tvoří členové, kteří v současnosti nebydlí v Pusté Kamenici, ale mají k ní blízký vztah (většinou z ní pocházejí).