In to je bilo večno slovensko naselje in v svoji zgodovini so se tudi večno prerekali z Izolani, ki so bili Italijani. In so imeli svojo občino, skratka, tam je bil klasičen spopad, ki je imel sicer bolj socialne korenine, ampak kazal se je pa kot nacionalni spopad vse do konca 2. svetovne vojne, pa še tudi kasneje. Naselje ima izvor imena, ki izvira iz Kaštelirja, ki so ga ustanovili Iliri, ko so še živeli na tistem območju, in je bil po vojni v skladu z novo maniro preimenovan prvič v svoji zgodovini v naselje Dvori.