gibt es aber eine Möglichkeit eine bestimmte Farbe komplett davon auszuschließen?

Mit CSS können Elemente (id,class) angesprochen werden, aber keine Eigenschaften (Farben, Größen usw.). Siehe Beispiel:

/* folgende Elemente nicht invertieren: */
#wdw_logo,#art_links img{filter:invert(0)}