Dalla metà del 1800, per costruire la stazione ferroviaria di Venezia Santa Lucia, fu demolita una parte del vecchio convento, determinando una radicale trasformazione dell'ultimo tratto urbano del Canal Grande. Scomparvero in questo modo: la Chiesa di Santa Lucia (che occupava l'attuale piazzale della omonima Stazione dove si trova oggi una lapide commemorativa) e l'intero quartiere residenziale ed i palazzi risalenti al XVI secolo. Già nel 1846, in seguito alla realizzazione del ponte ferroviario che collegava la città alla terraferma importanti modifiche avevano interessato questa zona: nel 1858, le due rive del Canal Grande furono collegate da un ponte in ferro (il Ponte degli Scalzi - oggi in pietra); tra il 1860 ed il 1861 furono abbattute tutte le costruzioni dall'area degli orti del convento al margine lagunare per realizzare la zona di deposito dei mezzi ferroviari ed aprire uno sbocco sul Canal Grande alla piccola stazione [2 incisioni della zona prima degli interventi].


Dalla metà del secolo scorso, l'ulteriore ampliamento della stazione ferroviaria ha determianto l'attuale assetto urbano della zona, ormai irriconoscibile rispetto alla configurazione precedente.

Il Convento e la Chiesa degli Scalzi erano stati costruiti dai Carmelitani Scalzi a partire dal 1656 su progetto di Baldassare Longhena. Il Longhena, progettò un edificio che doveva rispondere a precise esigenze espresse dagli stessi Padri Carmelitani: un edificio con impianto strutturale e sfarzo decorativo che richiamassero le chiese che gli stessi Carmelitani già possedevano a Roma (Santa Maria dei Campitelli) ed in Spagna. L'architettura risente pertanto dell'influsso romanon e questo rappresenta un'assoluta novità per Venezia dove le chiese ed i conventi erano costruiti con schemi semplici e rigorosi.

Ancor oggi, dopo il recente restauro dell'intero complesso, tra i corridoi, le stanze ed il giardino dell'Hotel Abbazia, rimane l'atmosfera di un complesso religioso dei secoli scorsi, immerso in un contesto cittadino assolutamente unico ed indimenticabile.