Anyanyelve tulajdonképpen a nápolyi nyelv, ezt ő maga vállalja is. Albumot is jelentett meg dalairól, ahol énekel olaszul és nápolyiul egyaránt. A Piedone Afrikában c. filmben mikor megkérdezik Piedonét (azaz Spencert), hogy ő olasz-e, azt feleli: Nem, nápolyi vagyok.
Édesapjának akkoriban vasgyára volt a nápolyi kikötőben, de amikor a gyár előtt horgonyzó hajó egy baleset során felrobbant, a család hirtelen tönkrement. Nyolcévesen lett tagja a helyi úszóklubnak, ahonnan aztán Rómába igazolt, amikor a család 1940-ben a fővárosba költözött.
Tanulmányi eredményei egészen kimagaslóak voltak, ötévesen volt elsős, majd az ötödik osztályt átugorva került hatosztályos gimnáziumba. Ezután a római egyetem vegyészkara következett, (mindössze 16 évesen vált az egyetem hallgatójává), tanulmányait azonban meg kellett szakítania, mert a család 1947-ben elhagyta Olaszországot és Brazíliába költözött. Ő másfél év múlva (1948 végén), míg családja 1950-ben tért haza. Folytatta az egyetemet, bár már nem a vegyészmérnöki, hanem a jogi karon, illetve a sportolást. 1949-ben mellúszásban olasz bajnoki címet nyert, 1950-ben a 100 méteres gyorsúszás bajnoka lett egy perc alatti idővel. Még ebben az évben az olasz vízilabda-válogatottal 4. helyezést ért el az Európa-bajnokságon. Miután aláírta első hollywoodi szerződését 1967-ben, visszavonult az aktív sportolástól, utolsó vízilabda-mérkőzését a Kárpáti György és Gyarmati Dezső fémjelezte magyar válogatott ellen vívta. Kárpáti György így emlékszik a meccsre: „Pedersoli, aki jóképű, magas, karcsú, széles vállú srác volt, miután megkapta amerikai filmszerződését, Budapesten játszott utoljára az olasz válogatott tagjaként. A vízilabda nem a szelídségéről ismert sportág, könnyen el lehet veszíteni néhány fogat, a felrepedt szemöldök látványa pedig egészen megszokott dolog. A színészpalánta ezért kéréssel fordult a magyar csapat tagjaihoz, az arca épségének megóvását szerette volna elérni. A mieink könyörületesek voltak az ellenfél játékosához, megígérték neki, hogy nem bántják, ha a meccset követő vacsorán énekel nekik egy dalt. A mérkőzés egyetlen lidérces álom volt szegény Pedersoli számára. A magyarok körbeadogatták egymás között, mind a hat mezőnyjátékos elszórakozhatott vele. Az illetőnek a labdával tulajdonképpen nem kellett törődnie, minden figyelmét az olasz fogsorára összpontosíthatta. Pedersoli halálra vált arccal kapkodta a fejét a horgok és felütések elől. Az öklök és könyökök azonban szerencsére mindannyiszor időben megálltak, nem okoztak sérülést. A magyar válogatott végül 7:3-ra nyert, és a győzelmi banketten behajtotta az ígért dalt a később Bud Spencer néven híressé lett főhősünktől.”
(Dr. Kárpáti György: Medencék, gólok, pofonok)
Barátnőjével, Maria Amatóval 1960-ban kötöttek házasságot. Ebben az időben dalokat szerzett, szöveget írt, kisebb reklámfilmekben szerepelt, árult autót és festéket is. Három gyermekük született: Giuseppe (1961), Christine (1962) és Diamante (1972).
