Grajski grič je bil poseljen že od 5. tisočletja pred n. št. Prebivalci antične Petovione so na njem postavili trdnjavo in svetišča, v zgodnjem srednjem veku je bilo tu slovansko grobišče.Srednjeveška utrdba je nastala v 11. stoletju, ko sta bila grad in mesto v posesti salzburške nadškofije.
