I 1879 ble musikkpaviljongen reist i byens nye parkanlegg, Busterudparken med en fortid som kirkegård. Paviljongen var en gave fra Fredrikshald Sparebank til byen. Den ble tegnet av arkitekt N. G. Thomassen med en oktogonal grunnflate og tilvirket ved «Saugbrugsforeningens Snedkerifabrik».
Under innvielsen 6. juli kunne dirigenten F. A. Reissiger løfte taktstokken for først gang i den nye musikkpaviljongen etter å ha dirigert musikkorps og sangere i mange år «fra den gamle Plads under Træerne» (Smaalenenes Amtstidene 7.juli) i den tidligere kirkegården. Nordsiden kirkegård ble anlagt i 1688 hvor det også ble bygget et kapell med navnet Christians kirke som en enkel tømmerbygning. Kirken brant i 1759, men kirkegården ble benyttet fram til 1879. En brann i 1870 rammet hele husrekken som lå ved Nordsiden kirkegård ut mot Storgata.
Området ble ryddet og sammen med kirkegårdsområdet ble Busterudparken anlagt med den nye Musikkpaviljongen som et midtpunkt. Flere gravstøtter ble stående igjen i park- området. De siste minnene fra kirkegården ble fjernet i 1882.
Dirigentene og komponistene Oscar Borg (1851-1930) og Friedrich August Reissiger (1809-1863) har mer enn noen andre satt sitt preg på byens musikkliv og vært brukere av Musikkpaviljongen til glede for byens innbyggere. Begge er hedret gjennom monumentet som ble avduket i 1939 nord for paviljongen.
(Kilde: Halden Rotarys historiske skilt / Erling Børke: «Historiske hus i Halden», 1987)