Дві вежі замку востаннє реставрували ще на початку ХХ століття його останні власники - родина князів Понінських. За часів Радянського Союзу палац не відбудовували.
Виходить, що Червоногордський замок, який століттями витримував навалу татаро-монгол, облогу турків, світові війни і зміни багатьох власників - від поляків до литовців, зрештою впав від звичайної української байдужості.