Jádro komplexu zámeckých budov vzniklo na základech gotického hradu ze 13. století. Původní vstup do hradu vedl od jihovýchodu gotickou, později renesančně upravenou branou přes parkán mezi zámkem a děkanským kostelem. Z hradu se zachoval zejména východní trakt dnešního zámku se sklepy s valenými klenbami.
Na zámek byl hrad přebudován již za Krajířů z Krajku, kteří vlastnili bystřické panství v letech 1381 – 1575. Objekt prošel ve své historii mnoha ničivými požáry a byl několikrát zásadně upraven. Hlavní čtyřkřídlá budova byla pozdně renesančně přestavěna po požáru v roce 1607, za majitele Radslava z Vchynic a Tetova, o čemž svědčí nápisová deska na druhém nádvoří. Některé místnosti v prvním patře východního křídla budovy jsou klenuty, jejich stropy zdobí renesanční štukové síťové klenby s hřebínky. V rohu tohoto křídla se na nádvorní straně zachovala patrová renesanční arkáda. Na bývalém tzv. předhradí, ústícím do náměstí, byly v průběhu 17. století vybudovány správcovské a hospodářské objekty.
Další informace
Vzhledem k ničivým požárům byl celý zámecký komplex přestavován a upravován také v letech 1651 a 1774. V roce 1843 byly budovy sníženy o jedno patro na nynější stav a zámecký příkop byl zasypán. Později objekt sloužil tkalcovské škole, po roce 1945 byl adaptován na sklady textilu, nyní je soukromým majetkem a pro veřejnost je při letních slavnostech otevřeno jen první nádvoří.