Na ozkem medvodju med Savinjo in se dviga trdnjavi podoben grad Vrbovec. Prvotni grad na strmi visoki skali nad sedanjim gradom je domnevno sezidal okoli leta 835 Pribina, ki mu je frankovski kralj Nemški, podaril med drugim tudi posest v Savinjski dolini. Prvi dokumentirani lastniki gradu so bili plemiči, ki so ga leta 1140 podarili oglejskemu patriarhu.