A Várday család 1415. július 25-én kapott oklevelet Zsigmond királytól, melynek birtokában kőből vagy fából várat építhettek.
1465-ben elkészült a déli palotaszárny és ennek sarkán álló két torony alsó szintje. A vára újabb építési szakasza az 1510-es években kezdődött. Ekkor készült el a várat szorosan körülövező, három méter széles palánkfal, melynek kettős cölöpsorát döngölt földdel töltötték, erősítették meg. Ezt a külső várat négy sarokbástya tette védhetőbbé. Az így elkészített második védelmi vonal kb. 60X80 méteres területet vett körül.
A várat erdélyiek ostromolták meg 1558 és 1564 között, mivel a Várday család a Habsburgok oldalán ált és katolikus volt.
Nyáry István idejében, az 1630-40-es években, tovább bővítik a várat a déli szárny negyedik emeletével, és egységes tetőszerkezetet alakítottak ki.
1703 júliusában Rákóczi és serege jelenik meg vár alatt, de kétnapi csetepaté után távoznak, majd a várba zárkózott megyei nemesség átáll a kurucokhoz. Rákóczi 1711 januárjában a vár fokáról tart beszédet és megszemléli hadait. 1711 után itt őrzik a megye levéltárát, közgyűlések színhelye és a vármegye börtöne. Új tulajdonosai a Zichyek és Esterházyak kőbányának használták, anyagából uradalmi épületek, a római katolikus templom, városi házak épültek. Végleges pusztulását 1828-ban a közbirtokosság akadályozta meg. 1897-ben emléktáblát helyeznek el a keleti várfalra.
A vár 1990 óta a Nemzeti Örökség része, mint hazánk építészeti, történeti szempontból kiemelkedően fontos műemléke. Az első emeleti kőtárban Várday Pelbárt 1438-as síremléke, Telegdy Anna (Nyáry István felesége) 1635-ből származó, latin gyászverset tartalmazó és kettős címert is ábrázoló vörös márvány sírköve látható.