Původně gotický hrad z počátku 12. století na vysoké skále nad Dyjí, o dvě stě let později připomínaný již s městečkem. Přestavba na zámek a současná barokní podoba je připisována rodu Althanů, který ji provedl podle plánů J. B. Fischera z Erlachu. Z této doby je dodnes dochován známý oválný Sál předků. Na konci 18. století patřil polské rodině Mniszků a Stadnických. V této době začala v městečku fungovat na necelých sto let továrna na kameninu značky Frain, napodobující anglickou Wedgewood.
Ve 30. letech 20. století byla vybudována hráz Vranovské přehrady, za níž se rozléhá jezero o délce cca 30 km. Samotné údolí městečka Vranov nad Dyjí je známé systémem podzemních dutin, zvaných Ledové sluje.