Bývalá jezuitská kolej se seminářem sv. Františka Xaverského a gymnáziem byla založena J. Popelem z Lobkovic roce 1590. Kostel sv. Ignáce byl postaven C. Luragem v letech 1663-71. Původně pozdně renesanční budovy byly pozdně klasicistně upraveny a roku 1773 změněny na kasárna. Kostel sloužil jako posádkový až do roku1945. Nyní je areál novodobě rekonstruován pro kulturní účely.