Goldstein is opgeleid tot registeraccountant bij het Koninklijk Nederlands Instituut van Registeraccountants (NIVRA). Hij was van 1987 tot 2025 verbonden aan PwC, sinds 2006 als partner. Daar was hij voorzitter van de publieke sectorgroep van PwC en lid van het Global & EMEA Government & Public services executive leadership team. Eerder leidde hij het publieke sector governance-programma en de onderwijsgroep van PwC.
Naast zijn werk voor PwC bekleedde Goldstein diverse nevenfuncties. Zo was hij lid van de Raad van Toezicht van Hogeschool Codarts, van de Stichting Rechtsbijstand Asielzoekers en van IDH, een wereldwijde organisatie die publieke en private belanghebbenden samenbrengt om landbouwmarkten duurzamer en inclusiever te maken.