Zakaj pa so med številnimi črnimi gradnjami, ki stojijo na zemljišču ministrstva za obrambo (naselbina je nastala ob nekdanji vojašnici), odstranili ravno Bojanovo hišo? Direktor inšpekcije za prostor je odgovoril: Gradbena inšpekcija prioritetno odstranjuje novo začete nelegalne gradnje. V Brezju je v skladu z zazidalnim načrtom zgrajenih 34 legalnih objektov, v drugem delu naselja pa je želela Mestna občina Novo mesto pripraviti še en zazidalni načrt in omogočiti legalno gradnjo, a se je pozneje zaradi nerešenega vprašanja lastništva zemljišč zadeva ustavila.