Wenn ich aber auf eine Unterseite gehe (eine beliebige Seite neu lade), stoppt die Musik, eben weil die Seite neu geladen werden muss.

Richtig.

Kann ich den Code noch zentraler einbinden als mit einem Template speziell im Header?

Nein.

Zitat die-schreibmaus.de "Ich bemühe mich, diese Seite so barrierefrei wie möglich zu gestalten"
Dazu gehört u.a., keine (Hintergrund-)Musik, die ohne Zutun des Besuchers startet. Deshalb der Button zum Starten und Stoppen der Musik. Und das gilt natürlich auch auf Unterseiten.

PS: Die Buttons zum Einstellen der Schriftgröße funktionieren hier nur mit dem Firefox, nicht aber mit dem Google Chrome Browser.