Guldings ir dzimis Hertperī ciemā Glosteršīras grāfistē, bagātā zemnieku ģimenē. Vēlak viņš emigrēja uz Dienvidāfriku un dzīvoja Natālas piekrastē. Pirmoreiz Guldings kā sportists izcēlās 1895. gada sezonā, kad uzvarēja vairākās sacensībās vairākās Glosteršīrā.
1984. gada NBC miniseriālā Pirmās Olimpiskās spēles: Atēnas 1896 viņš tika attēlots kā ļoti pompozs un viņam bija ieradums ļoti viegli uztvert pretiniekus (īpaši amerikāņus). Seriālā viņš demonstrēja tik sliktu sportisko izturību, ka Lielbritānijas amatpersonas (un Pjērs de Kubertēns) sāka viņu aizvainot. Brīdī, kad viņš bija veicis 110 metru barjerskrējienu, pūlis viņu apmētāja ar augļiem.
Guldings 1896. gada vasaras olimpiskajās spēlēs Atēnās startēja 110 metru barjerskrējienā. Startējot savā priekšskrējienā, viņš viņšēja ar rezultātu 18,4, iegūstot 1. vietu tajā un kvalifocējoties fināla skrējienam. Savukārt fināla skrējienā viņa rezultāts bija 17,7 sekundes, ieņemot 2. vietu un sudraba medaļu. Viņš piekāpās tikai ASV sportistam Tomasam Kērtisam.[2]
1932. gadā Tomass Kērtiss žurnālā The Sportsman rakstīja par Guldingu: "pēc finiša viņš nekavējās, lai atvadītos, bet no stadiona pa taisno devās uz staciju un ar pirmo vilcienu devās prom no Atēnām".