Questi vi rimasero fino al 1528 quando fu edificata vicino alle fosse (attuale angolo occidentale formato da via Sanfelice e via Marconi), un'altra chiesuola dedicata al solo S.Rocco. Il 30 novembre 1572 furono eretti canonicamente i Confratelli Neri del SS.Crocifisso. Questi, tre anni dopo, ricevettero in consegna l'oratorio cimiteriale di S.Rocco e Sebastiano dal Vicario Foraneo e arciprete del Castello, in adempimento dei loro compiti istituzionali. Fra questi la manutenzione del camposanto e l'assistenza agli infermi. Infatti i Confratelli fino al 1580 continuarono a riunirsi nell'Ospedale Grande, di fronte a S.Maria Ann.. In seguito la Confraternita del SS.Crocifisso crebbe d'importanza; lasciti e donazioni l'arricchirono tanto che nel 1741 deliberò di abbattere il vecchio oratorio e di edificarne un nuovo mantenendovi per titolari S.Rocco e Sebastiano. L'incarico del progetto e della costruzione fu affidato a Pietro Antonio Maggi (Viadana 30.09.1709 m. 15.05.1770). La fabbrica iniziò tre anni più tardi e terminò nel 1755 con l'erezione del più elegante edificio viadanese. A seguito della soppressione delle Confraternite avvenuta nel 1786, i beni immobili furono incamerati dallo Stato, mentre l'oratorio, con le suppellettili, divenne sussidiario della parrocchiale di S.Maria Annunziata. Non si conosce la data precisa di demolizione dell'altro oratorio di S.Rocco dei Battuti Bianchi, comunque avvenuta dopo il 1803. Nella notte fra il 12 e 13 ottobre 1989, mentre era in corso il restauro del monumento, furono rubate diverse tele fra cui le pale dei due altari laterali del viadanese Araldi.
