Als Sohn eines Pfarrers wurde Westerburg am 27. März 1846 in Kettenbach (Nassau) geboren. Nach dem Studium der Rechts- und Staatswissenschaften arbeitete er als Richter am Landgericht Elberfeld. Als Abgeordneter der liberalen Fortschrittspartei zog er für Barmen-Elberfeld in den Rheinischen Landtag ein. Von 1885 bis 1887 1887 war er Stadtrat in Frankfurt am Main, dann wählten ihn die Hanauer zum Oberbürgermeister. Fünf Jahre später, am 28. Oktober 1892, wurde er mit 35 von 59 Stimmen zum Oberbürgermeister von Kassel gewählt.

Seine Tätigkeit als Stadtoberhaupt von Kassel nahm Westerburg im Februar 1893 auf. Dem Ruf, der ihm voranging, ein tüchtiger Kommunalbeamter zu sein, ist er - wie spätere Würdigungen meinen - nichts schuldig geblieben. Am Ende seiner Amtszeit und bei seinem Ableben am 4. Juli 1903 wurde von allen Seiten bestätigt, dass er sich um die Verwaltung sowohl Hanaus als auch Kassels bleibende Verdienste erworben hat. Westerburg zwar zudem ab 1895 war Mitglied des Preußischen Herrenhauses, Mitglied des Provinziallandtages der Provinz Hessen-Nassau und von 1890 bis 1900 Mitglied des Kommunallandtages Kassel gewesen.

Kassel war eine wachsende Stadt, als Westerburg ihre Geschicke leitete. Von 1890 bis 1900 stieg ihre Einwohnerzahl von 72.000 auf über 100.000. Das war in erster Linie einem wirtschaftlichen Wachstum im Rahmen der Industrialisierung zu verdanken, das nicht zuletzt durch die Annexion Hessens durch Preußen 1866 begünstigt worden war und in der Gründerzeit einen Schub erhalten hatte. Kassel dehnte sich besonders nach Westen hin gewaltig aus.

In Westerburgs Amtszeit fielen wichtige Infrastrukturmaßnahmen wie die Inbetriebnahme des neuen städtischen Gaswerkes im Osten der Stadt oder der Bau des Fuldahafens. In Niederzwehren gründeten die Brüder Credé in dieser Zeit eine Fabrik zum Bau von Eisenbahnwaggons.

Am Ende von Westerburgs Amtszeit wurden Wehlheiden und damit auch große Gebiete des Vorderen Westens Teil der Stadt.

Mit der Stadt wuchsen - im wahrsten Sinne des Wortes - auch die Bedürfnisse der Bewohner. An vielen Plätzen und markanten Punkten Kassels entstanden - gerade während der Amtszeit Westerburgs - Bedürfnisanstalten. Der Volksmund nannte sie schnell „Westerburgen".

Die Amtszeit Westerburgs sollte, ähnlich wie die seines Vorgängers Weise, vorzeitig enden. Obwohl Westerburg offiziell bis zum 1. Januar 1900 Kasseler Oberbürgermeister war, musste er die Ausübung seines Amtes schon Ende 1898 aufgeben; er litt an einer nervösen Erkrankung. Das Leiden verschlimmerte sich stetig, so dass schließlich die Behandlung in einer Anstalt notwendig wurde. Am 4. Juli 1903 starb Westerburg in einer Godesberger psychiatrischen Anstalt.

Die Westerburgstraße zwischen Nebelthau- und Goethestraße erinnert an ihn.