Gatekrysset her var knutepunktet for gater og bekkeløp lenge før Sandefjord fikk bystatus i 1845. Parkens navn skriver seg tilbake til en forhenværende handelsmann og skipper, Ole Tommesen Paust.
Braade bro knyttet gatene sammen. Broa gikk over en større bekk fra Lunden/Mokollen som rant ned i Ruklabekken (også kalt Mobekken). Rekkverket i Pausteparken er til minne om Braade bro.
Huset som stod her parken er i dag, hadde adresse Torggata 5. I kjelleren var byens første folkebad.
Rett over gata ser vi Torggata 12. Første etasje på dagens bygg kom i 1790. Huset ble oppkalt etter eieren, og fikk navnet Paustgården. Gården rommet Borgerforsamlingen fra 1820 årene. Byens første formannskap ble valgt i 1837 og holdt også sine møter her.
Drikkefontenen stod tidligere i skolegården på Byskolen.
Pausteparken ble innviet i 2003. Foreningen gamle Sandefjord tok initiativet til å etablere parken. Arealet stod ubrukt etter utbygging i Skolegata og Torggata. Parken ble tilrettelagt med midler fra Foreningen Gamle Sandefjord, Thor Dahls legat og Sandefjord kommune.