Римские папы превратили его в настоящую крепость. Климент VII в 1527 г. укрылся в замке, когда войска императора Карла V вторглись в Рим. В осаждённом замке находился в это время и принимал самое деятельное участие в отражении атак Бенвенуто Челлини, скульптор, ювелир, автор известных мемуаров. Несколькими годами позже он был заключён в замке как узник и сумел совершить невозможное — бежал из тюрьмы.