Joseph édesapját tornászként emlegetik, aki több díjat is besöpört. Korábbi feljegyzések szerint szerelő, vagy géplakatos volt a szakmája. Az viszont tény, hogy felesége és családja segítségével egy tornatermet üzemeltetett. A történet, hogy a család neve, a Pilates görög eredetű név - nos, ezt a mai is élő családtagok nem erősítették meg. A helyzet az, hogy Joseph törzsgyökeres német volt egy hívő katolikus családban.

Édesanyja 'természetgyógyász' volt. A családtagok szerint ez nem teljesen fedi a valóságot. Inkább egy leleményes, gondoskodó, kilenc gyermeknek életet adó édesanya, aki legjobb tudása szerint megpróbálta kitanulni és alkalmazni a természetes gyógymódokat.

A természetgyógyászok a testet ösztönzik az öngyógyításra; valószínüleg édesanyja gyógyításhoz való hozzáállása fertőzte meg az ő szemléletmódját is a terápiás gyakorlatokkal kapcsolatban. 

Pilates az elmondások alapján egy vézna, beteges kisgyerek volt, aki asztmában, angolkórban és reumás lázban szenvedett. Az idősebb, kegyetlenkedő gyerekek azzal csúfolták, hogy ő "Poncius Pilátus, Krisztus gyilkosa". Ő túl gyenge volt ahhoz, hogy visszavágjon vagy elszaladjon; ez a helyzet indította őt el egy életúton, a fitnesz, az egészség és a hasonló helyzetben lévők segítésének útján.