Założony w 1922 roku klub znad Pilicy wychował Sebastiana Przyrowskiego, bramkarza reprezentacji Polski.
Stadion Miejski im. Zygmunta Siedleckiego znajduje się w Białobrzegach przy ul. 11 Listopada 57. Obiekt otwarto 19 lipca 1978 roku. Budowę rozpoczęto w 1975 roku, a część prac wykonano w czynie społecznym.
Pilica Białobrzegi powstała w 1922 roku z inicjatywy miejscowych działaczy. Jej piłkarze grali w rozgrywkach podokręgu radomskiego, a miejsce spotkań zależało od poziomu wody w rzece: mecze odbywały się raz na jednym, raz na drugim brzegu Pilicy. W 1945 roku ocalali z wojny działacze przystąpili do odbudowy klubu i drużyny piłkarskiej.
Patron stadionu, Zygmunt Siedlecki, był piłkarzem Pilicy, a jednocześnie rozwijał się w lekkoatletyce. Zdobył mistrzostwo Polski w dziesięcioboju i w tej konkurencji wystąpił na igrzyskach w Los Angeles w 1932 roku.
Sebastian Przyrowski trafił na pierwszy trening Pilicy za namową starszych kolegów, mając około dziesięciu lat. Do piętnastego roku życia grał zarówno w polu, jak i w bramce. Na stałe został bramkarzem, gdy Adam Bolek rozpoczął z nim treningi indywidualne. Bolek uporządkował też zajęcia zespołu i organizował obozy dochodzeniowe. Przyrowski został pierwszym wychowankiem Pilicy, który zagrał w seniorskiej reprezentacji Polski.
W 2020 roku Pilica zdobyła okręgowy Puchar Polski w rejonie radomskim, pokonując Energię Kozienice w finale na stadionie MOSiR-u Radom. Kamil Czarnecki doprowadził do remisu 1:1, a w serii rzutów karnych białobrzeżanie wygrali 4:2. Bramkarz Filip Adamczyk obronił dwie jedenastki.
Rok później drużyna Tomasza Grzywny awansowała do III ligi po barażowych zwycięstwach nad Ząbkovią Ząbki 2:0 na wyjeździe i Mławianką Mława 5:2. W drugim z tych spotkań Paterek strzelił trzy gole.