Sebbene la struttura originaria risalga al Cinquecento, la villa venne radicalmente ristrutturata e riedificata intorno al 1770, in pieno periodo di dominazione austriaca. Per la sua ricostruzione furono impiegati i materiali ricavati dalla demolizione dell'antico castello locale e delle sue mura difensive.
Una curiosità sul castello: la fortezza era appartenuta ai Gonzaga di Mantova; nel 1479, Carlo Gonzaga la cedette come dote alla figlia Cecilia in occasione delle sue nozze con il conte Odorico d'Arco.
I primi dettagliati rilievi architettonici sulla residenza compaiono nel Catasto Teresiano del 1777. Pochi anni dopo, nel 1796, la villa divenne uno snodo militare strategico: il maresciallo austriaco Dagobert Sigmund von Wurmser vi stabilì il proprio quartier generale durante la celebre battaglia di Castiglione contro le truppe di Napoleone Bonaparte.
Tra l'inizio e la metà del XIX secolo, la dimora passò di mano tra diverse famiglie della nobiltà mantovana. Nel 1857, Luigi Amedei la vendette a Giuseppe Ignazio Pastore, alla cui figlia, Mirra, si deve l'attuale nome della villa.
La residenza è legata a doppio filo anche alle sorti del Risorgimento italiano: il 24 giugno 1859, subito dopo la sanguinosa battaglia di Solferino e San Martino, vi soggiornò l'imperatore francese Napoleone III.
All'inizio del Novecento (1900) l'edificio fu acquistato dalla famiglia Siliprandi, che ne mantenne la proprietà fino al 1974. Nel 1978 la struttura venne infine acquisita dal Comune di Cavriana, subendo purtroppo nel corso di quegli anni la perdita di parte dei suoi arredi originali.
Il 24 giugno 1959, in occasione del centenario della battaglia di Solferino e San Martino, Villa Mirra fece da cornice a un importante evento diplomatico. Il salone del piano nobile ospitò infatti il pranzo ufficiale tra il Presidente della Repubblica Francese, il Generale Charles De Gaulle, e il Presidente della Repubblica Italiana, Giovanni Gronchi, evento oggi commemorato da una lapide.
Oggi un'ala del complesso è la sede permanente del Museo Archeologico dell'Alto Mantovano, mentre le restanti sale vengono utilizzate dall'amministrazione comunale o per ospitare eventi e manifestazioni.