Già qualche decennio dopo la costruzione, forse per carenze di progetto o di esecuzione, la chiesa appariva in cattive condizioni di conservazione registrando dissesti e crolli tanto da dover essere massicciamente ristrutturata, se non proprio rifabbricata, in più fasi successive nel corso del XV secolo. Sono, infatti, documentati interventi vari nel periodo compreso tra il 1440 e il 1443, negli anni '60 e attorno al 1480. L'edificio, come altri della stessa epoca e magari dei medesimi architetti e decoratori, rappresenta un interessante momento del passaggio dal gotico al primo Rinascimento: le sue stesse dimensioni e le proporzioni lasciano il gigantismo esasperato delle chiese dei francescani e dei domenicani o, magari, dei serviti (come quelle dei Frari, dei santi Giovanni e Paolo, di santa Maria dei Servi) per proporre un equilibrio e un'armoniosità di forme di rara eleganza. Il corpo dell'edificio, come sempre nel gotico veneziano e veneto, è realizzato in cotto ma le profilature, i pinnacoli, le edicole e le statue in bianca pietra d'Istria alleggeriscono e nobilitano l'insieme. Originale della Madonna dell'Orto è poi la bicromia ottenuta con l'accostamento della pietra d'Istria e del marmo rosso di Verona, che contrappunta finestre e portale.