Già qualche decennio dopo la costruzione, forse per carenze di progetto o di esecuzione, la chiesa appariva in cattive condizioni di conservazione registrando dissesti e crolli tanto da dover essere massicciamente ristrutturata, se non proprio rifabbricata, in più fasi successive nel corso del XV secolo. Sono, infatti, documentati interventi vari nel periodo compreso tra il 1440 e il 1443, negli anni '60 e attorno al 1480. L'edificio rappresenta un interessante momento del passaggio dal gotico al primo Rinascimento: le sue stesse dimensioni e le proporzioni lasciano il gigantismo esasperato delle chiese dei francescani e dei domenicani o, magari, dei serviti per proporre un equilibrio e un'armoniosità di forme di rara eleganza. Il corpo dell'edificio, come sempre nel gotico veneziano e veneto, è realizzato in cotto ma le profilature, i pinnacoli, le edicole e le statue in bianca pietra d'Istria alleggeriscono e nobilitano l'insieme. Originale della Madonna dell'Orto è poi la bicromia ottenuta con l'accostamento della pietra d'Istria e del marmo rosso di Verona, che contrappunta finestre e portale. Originalissima, con ricordi dell'architettura romanica, risulta la finta galleria a nicchie trilobate che contengono le statue degli apostoli, mentre quelle nelle edicole raffigurano la Vergine e le Virtù (ma si tratta di inserimenti ottocenteschi di statue del XVII-XVIII secolo provenienti da santo Stefano di Murano).