Počátky Jindřichova Hradce souvisejí s existencí slovanského hradiska ve výhodné poloze na ostrohu řeky Nežárky a Hamerského potoka, které bylo nejpozději od 10. století správním centrem širokého okolí a zároveň důležitým strategickým bodem na jihu přemyslovského státu. Na konci 12. století dostal jihovýchodní Čechy v úděl Vítek z Prčice, který toto území rozdělil mezi své syny, kteří se stali zakladateli významných jihočeských šlechtických rodů: z Landštejna, ze Stráže, z Ústí a nejmocnějších Rožmberků a pánů z Hradce. Všichni tito Vítkovci užívali pak ve svých erbech pětilisté růže různých barev.

Nejstarší dochovaná písemná zpráva o Hradci pochází z roku 1220, kdy jindřichohradecké panství vlastnil zakladatel rodu pánů z Hradce, Jindřich I., nejstarší syn Vítka z Prčice. Ten na místě dřívějšího hradiska vystavěl gotický hrad, v jehož předhradí z původní řemeslnicko-obchodní osady vzniklo v polovině 13. století město, které nese jméno právě po Jindřichovi (v latinských listinách bylo nazýváno Nova domus, odtud německé Neuhaus, současný název města je poprvé doložen až roku 1410). Erb pánů z Hradce, zlatá růže v modrém poli, doplněný privilegiem krále Vladislava II. z roku 1483 o dva zlaté královské lvy a iniciálu W s korunkou, je dodnes ve znaku města.

Vrcholu svého rozvoje dosáhlo město za posledních pánů z Hradce ve 2. polovině 16. století. V té době se přestavují původní gotické a staví nové renesanční měšťanské domy na náměstí i v přilehlých ulicích, za severními hradbami se rozrůstá tak zvané Nové město. Měšťané těžili z rušného obchodního a řemeslnického života, zejména výroby a prodeje sukna. Význam města vzrůstal nejen hospodářsky, ale také vysokým postavením, které na královském dvoře zaujímali hradečtí Vítkovci a po nich Vilém Slavata (v letech 1628-1652 nejvyšší kancléř Království českého) v politickém životě státu. Když se po třicetileté válce roku 1654 pořizoval soupis obyvatelstva a domů, byl mezi českými městy Jindřichův Hradec se svými 405 domy na druhém místě hned za Prahou. Nedlouho poté však ztratil své významné politické postavení, od konce 17. století přestal být sídelním městem nových majitelů panství, Černínů, a postupně pak klesal i jeho význam hospodářský.

V severovýchodním cípu historického jádra města se nalézá jedna z nejpozoruhodnějších jindřichohradeckých pamětihodností, komplex kostela sv. Jana Křtitele s přilehlými budovami bývalého minoritského kláštera a později přistavěného špitálu. Gotický kostel, na jehož místě stávala původně románská svatyně, vznikal postupně od začátku 13. století, v následujícím století byla postavena kaple sv. Mikuláše, jež bývá někdy označována za perlu vrcholné gotiky v jižních Čechách, a zahájena stavba kláštera. Původní bohatá gotická fresková výzdoba kostela, řadící se k nejvýznamnějším projevům českého nástěnného malířství poloviny 14. století, byla v horní části hlavní lodi částečně porušena hvězdicovou klenbou z 15. století. Zajímavá architektura, bohatství nástěnných maleb, řada náhrobků, z nichž nejcennější je gotický náhrobek Magdaleny z Gleichenu (1492) z červeného mramoru a renesanční náhrobky pánů Špánovských z Lisova z 1. čtvrtiny 17. století, a raně barokní mobiliář kostela vytvářejí z celého komplexu ojedinělou památku středoevropského významu. Kostel, který je ve správě jindřichohradeckého muzea, byl v nedávné době zpřístupněn, rovněž budova kláštera se rekonstruuje a bude v nejbližších letech zpřístupněna veřejnosti. Kostel slouží jako koncertní síň, jižní boční loď kostela využívá muzeum k výstavním účelům.

Při ústí Svatojánské ulice na náměstí Míru stojí budova bývalého hotelu U zlaté husy, kde přenocoval Karel Havlíček Borovský při své nedobrovolné cestě do vyhnanství, na níž ho provázel jindřichohradecký rodák, komisař Dedera. Ve vedlejším domě (dnes hotel Concertino) s v roce 1600 pravděpodobně narodil známý český barokní básník a hudební skladatel Adam Michna z Otradovic.

Centrem historické části Jindřichova Hradce je náměstí Míru s původně gotickou radnicí, několikrát přestavovanou (první doklad o opravě kamenné radnice pochází z roku 1493), na jejímž průčelí je umístěn znak města, a se sousoším Nanebevzetí Panny Marie, nejtypičtější barokní památkou, kterou v letech 1764 - 1766 vytvořil sochař Matouš Strachovský. Na severovýchodní straně náměstí poutá pozornost tzv. Langrův dům, jedinečná původně gotická, později renesančně přestavěná budova, jejíž průčelí je zdoben figurálními sgrafity zobrazujícími biblické výjevy, podloubí je sklenuto diamantovou klenbou.

Starému městu dominuje proboštský kostel Nanebevzetí Panny Marie s věží, jehož nárožím prochází 15. poledník východní délky. Původně gotický kostel byl postaven ve 2. polovině 14. století, o sto let později byl opravován a rozšířen o tzv. Špulířskou kapli se zajímavou krouženou žebrovou klenbou s figurálními svorníky a plastickými ozdobami se zvířecími motivy za samého počátku 16. století. V kapli byly uloženy ostatky sv. Hippolyta, patrona města. Věž, vysoká 65 m, pochází z 15. století, svou nynější podobu získala - podobně jako řada další městské architektury - po ničivém požáru města v roce 1801, kterému padlo za oběť 318 domů a 30 lidských životů. V letních měsících je věž, z níž je překrásná vyhlídka na město i okolí, přístupná veřejnosti.

Západní část historického jádra města poznamenala stavební aktivita jezuitů, které do Jindřichova Hradce na konci 16. století povolal Adam II. z Hradce. Z podnětu své manželky Kateřiny z Montfortu pro ně založil kolej, k jejíž raně barokní budově s renesanční sgrafitovou fasádou přiléhá kaple sv. Máří Magdaleny. Zajímavá stavba z 1. poloviny 17. století, jejíž interiér je zajímavý unikátní štukovou výzdobou, byla v nedávné době zrenovována a je využívána k výstavním a koncertním účelům. Na jezuitském gymnáziu, patřícímu k nejstarším v Čechách, se začalo vyučovat v roce 1595. Z pedagogů je nejznámější Bohuslav Balbín, proslulý historik, jehož jméno nese přilehlé náměstí. Stojí na něm renesanční budova bývalého jezuitského semináře z 1. poloviny 17. století, dnes sídlo jindřichohradeckého muzea. K této budově přiléhá gotická, později renesančně přestavěná Nežárecká brána, jediná dochovaná z původních tří městských bran.
Přímo naproti muzeu stojí na Balbínově náměstí zajímavá empírová stavba z 20. let minulého století, bývalá Landfrasova tiskárna, z níž více než sto let proudily ke svým čtenářům tisíce svazečků knížek lidového čtení, jarmarečních a pouťových písní, modliteb a modlitebních knih, ale také řada učebnic a vlastivědná literatura, později i regionální noviny. Landfrasova tiskárna, která měla své filiálky v Č. Budějovicích a Táboře, byla v 19. století jedním z nejvýznamnějších mimopražských vydavatelství.

Na renesanční budovu muzea na jižní straně navazuje komplex bývalého panského pivovaru, kde v letech 1831 - 1835 pobýval Bedřich Smetana, který tu také zkomponoval svou první skladbu, Kvapík D dur.
Zcela ojedinělou kulturní a historickou památkou Jindřichova Hradce je bezesporu rozsáhlý komplex gotického hradu a renesančního zámku, který vznikal po staletí na skalnatém ostrohu mezi řekou Nežárkou a Hamerským potokem, na němž byl vybudován dnešní rybník Vajgar. Původní raně gotický palác s okrouhlou věží byl za Oldřicha III. z Hradce v 1. polovině 14. století rozšířen, z roku 1338 pocházejí zcela unikátní nástěnné malby zobrazující tehdy oblíbenou legendu o svatém Jiří, patronu rytířů. Po dalším rozšíření hradu v 15. století doznalo ve století následujícím sídlo pánů z Hradce nejrozsáhlejších stavebních úprav. Původní středověký hrad byl rozšířen o honosný renesanční zámek s velkými a malými arkádami a jedinečným rondelem, jenž je vrcholným projevem mistrného italského renesančního stavitelství.

Nad údolím řeky Nežárky je nejlépe dochované opevnění zámku, na něž plynule navazují městské hradby s Nežáreckou bránou. V ulici Pod hradem, která se vine mezi řekou a hradbami, stojí dodnes dochované koželužské domy s typickými mansardovými střechami, pod nimiž bylo dostatek místa na sušení kůží. V roce 1954 se do jednoho z těchto domů pod zámkem přestěhovala známá gobelínová dílna Marie Teinitzerové.

Dopravní osou historické části Jindřichova Hradce je Rybniční a Panská ulice. Rybniční ulice vedla z náměstí k Rybnické bráně a na most, který byl ve 2. polovině 18. století ozdoben barokním sousoším Ukřižování a sochou sv. Jana Nepomuckého od Matouše Strachovského. Na konci mostu vznikl na konci 14. století gotický špitální kostel sv. Alžběty, nyní přeměněný na hotel. Na jižním návrší stojí gotický hřbitovní kostel sv. Václava ze 14. století, na okraji města se nad údolím Nežárky nalézá židovský hřbitov. Za městem na opačném břehu řeky Nežárky stojí kdysi vyhledávaná zahradní restaurace Rudolfov, postavená podle projektu architekta Národního divadla Josefa Zítka.

Panská ulice spojuje střed starého města s Novoměstským (dnes Masarykovým) náměstím, na které navazuje park vybudovaný v místech někdejšího hradebního příkopu. Městské hradby připomíná jediná okrouhlá bašta, později klasicistně upravená. V parku se nachází Husův pomník a terasa s výhledem na zámek a řeku Nežárku, v jejímž údolí byl zbudován další park. Za řekou jsou dochována zastavení křížové cesty, která vedou až k novogotickému kostelu sv. Jakuba.

Z Masarykova náměstí vede Klášterská ulice k františkánskému klášteru s kostelem sv. Kateřiny. Původní gotický kostel byl vystavěn na konci 15. století, dnešní podobu získal přestavbami po požárech v roce 1669 a 1801. Kostel je propojen s protější budovou (tzv. klášteříček), jež byla z původního gotického špitálu upravena na vdovské sídlo hradecké vrchnosti. Souběžně s Klášterskou ulicí ústí na Masarykovo náměstí ulice Jarošovská, při níž se rozkládá parčík (bývalý hřbitov) s renesančním kostelem Nejsvětější Trojice z konce 16. století. V sousedství parku se nachází budova jindřichohradecké fakulty Vysoké školy ekonomické v Praze.