Prostor mezi dnešními ulicemi Pekařskou, Mnišskou a Solnou obýval celé půltisíciletí dominikánský řád se svým konventem a přilehlým kostelem sv. Václava. Tento Řád bratří kazatelů odvozuje svůj počátek působení ve městě od roku 1291, kdy měl dle již nedochované listiny vévoda Mikuláš I. založit při severním úseku městských hradeb klášter. S jistotou lze prokázat působení dominikánů v Opavě od roku 1303, jak dokládá soupis dominikánských konventů z pera inkvizitora Bernarda Guye, kterého mimo jiné proslavil román Umberta Eca Jméno růže.
Klášterní budovy byly vystavěny v blízkosti městského opevnění, čímž byla posílena jeho obranná funkce. Budování se protáhlo na několik desetiletí. Provizorní konvent nahradilo nejprve východní křídlo s obdélnou sakristií, kapitulní síní a refektářem, po polovině 14. století začala vznikat křížová chodba kolem rajského dvora. Ambit byl zaklenut křížovou klenbou a otevíral se do dvora lomenými kružbovými okny. Během 15. století klášter s kostelem třikrát postihl požár a výrazně poškozeny byly především krovy budov. Morová epidemie v letech 1541–1542 připravila klášter nejen o samotného převora, ale také o všech třicet řádových bratří. Nedostatek dominikánů v českých zemích v důsledku postupující reformace vedl královskou komisi, která zkoumala místní poměry, k připojení opavského konventu k polské řádové provincii a osazení kláštera mnichy pocházejícími z Polska. V roce 1556 však objekt vyhořel a jeho oprava se pro spory s luteránskými úředníky protahovala. V posledních dvou desetiletích 16. století byl dvakrát napaden a vydrancován davem luteránů.
Začátkem nového století zde sice probíhaly rozsáhlé stavební úpravy, kdy byla například vybudována renesanční zvonice či boční vstup z kostela do gotické klášterní kaple sv. Marie Magdalény, v průběhu třicetileté války ve 20. letech 17. století byl však klášter dvakrát okupován vojskem a vyhořel. V roce 1651 jej pak postihl vůbec nejhorší požár, kdy byla zničena část klášterní knihovny. Objekt prošel pouze provizorními opravami a poté, co byl na začátku 18. století navrácen do české provincie, proběhla v letech 1723–1724 kompletní barokní přestavba. Pod vedením stavitelů J. J. Hausruckera a J. Rietha nabyl klášter podoby dvoupatrového objektu, na východní straně byl rozšířen a budova byla doplněna o západní křídlo. Nové zaklenutí získala křížová chodba a kapitulní síň. Pět let po požáru v roce 1758 bylo v interiéru vybudováno dvouramenné schodiště.
Zrušení kláštera v rámci josefínských reforem nebylo původně v plánu, zadlužený řád však sám požádal v roce 1786 o likvidaci s cílem splatit pohledávky z výtěžku dražby svého majetku. Pro samotný kostel s klášterem to znamenalo více než stopadesátileté strádání. Dva roky po zrušení konventu jej začalo využívat vojsko. Od konce 18. století východní a severní křídlo fungovalo jako tzv. normální škola, později jako nižší reálná. Západní křídlo bylo prodáno do soukromých rukou a sloužilo jako měšťanský dům, západní fortna a věž byly ve 20. letech 19. století zbourány. Zatímco kostel prošel na začátku 20. století menší rekonstrukcí a zejména po druhé světové válce sílily snahy o jeho obnovu, situace samotného kláštera došla tak daleko, že v průběhu let 1948–1949 bylo odstraněno západní křídlo a v 60. letech se dokonce uvažovalo o jeho celkové demolici. Tento záměr nakonec naplněn nebyl, celá situace paradoxně vyústila v letech 1967–1974 v rekonstrukci bývalého konventu.
Vedle základní umělecké školy a Vinárny U Přemka byl objekt přestavěn na městskou galerii pod názvem Dům umění. Podle návrhu architekta Leopolda Plavce byl velkoplošnými skly oddělen obnovený rajský dvůr a křížová chodba, interiér byl opatřen mramorovou podlahou a ozdoben kovanými mřížemi a zábradlím od Alfreda Habermanna a osvětlovacími tělesy z dílny skláře Františka Víznera. Na ploše před vstupem je od roku 1976 umístěna socha Utíkající dívky od místního rodáka Kurta Gebauera. Ačkoliv byl Dům umění svého času prezentován jako pýcha socialistické kultury, bylo zde i za minulého režimu nezřídka možné narazit na počiny tvorby kvalitní a nepoplatné dobovým politickým poměrům. Uvolnění atmosféry po listopadu 1989 přineslo nové impulzy projevující se ve fungování instituce, technický stav budovy však postupně přestával vyhovovat. V období let 2010 a 2011 prošel objekt rekonstrukcí, při níž byl mimo jiné vybudován nový vstup a zastřešen rajský dvůr, nyní volně spojený s ambitem. V současné době provoz Domu umění zajišťuje Opavská kulturní organizace.
