На думку деяких дослідників, міст могли збудувати ще на початку 2-го століття військові інженери римських легіонерів. Проте перша письмова згадка про міст датована тільки 1494 роком.
За період свого існування він пережив багато реконструкцій, його вигляд постійно зазнавав змін. Сьогодні Замковий міст є суцільним кам’яним муром, який більше схожий на греблю.
Його довжина - 86 метрів, а висота - майже 30 метрів. З обох боків мосту в долину Смотрича ведуть кам’яні сходи 19-го століття.