Devecser főterének dísze a műemléki védelem alatt álló Esterházy-kastély. Az épület a barokk és eklektikus építészet stílusjegyeit viseli magán. Az első építkezést a jelenlegi kastély helyén a Devecseri Csóron András 1532-39 között végeztette el, a régi udvarházból várkastélyt emeltetett. Ebben az időben készült a megnagyobbított épületet körülzáró erődfal is. Ez a végvár az 1630-as évek elején az Esterházyak kezére került. Két jelentős építkezés alakította át a kastélyt: 1790-ben Esterházy Károly egri püspök a főépületet, a barokk kaput és a melléképületeket, 1890-ben pedig Esterházy Ferenc az egész kastélyt építtette át. 1945-ig használták, utolsó tulajdonosa Esterházy Tamás gróf volt.
Az épület 1986 szeptemberétől ad otthont a város könyvtárának. Az évekig tartó felújítások során sikerült a várkastély régi hangulatát visszaállítani, eredeti formájukban láthatók a kazettás mennyezetek, a reneszánsz és barokk kandallók, a tölgyfából készült ajtók, ablakok, a faragott lépcsőkorlát. Az udvart a XVI. századi, Velencéből származó faragott kútkáva díszíti.
A könyvtár honlapja az alábbi címen elérhető: www.vkdevecser.hu