Das große Bauwerk beherrscht der wuchtige, viergieblige Burgfried. Er wurde um 13.Jahrhundert erbaut und Ende des 16. Jahrhunderts deutlich erhöht. Den Kern der Burg bildet die Burghauptmannschaft im südlichen Teil. Die großen Wohngebäude im nördlichen Teil und das Markgrafenhaus wurden im 15 Jahrhundert erbaut.

Geschichtlich war in Elbogen einiges los. Wenzel I. von Böhmen empfing hier den deutschen König Konrad IV. Kaiser Karl IV, der Luxemburger, der als Kind hier einige Monate mit seine Mutter versteckt wurde, löste die von seinem Vater verpfändete Burg wieder aus und erhob den Ort nach Eger zur Stadt. Er hat noch 1376 auf der Burg Hof gehalten. Genau wie Wenzel IV, der die Stadtrechte für Elbogen bestätigte.

Im Jahr 1405 fiel die Burg an Albrecht von Kolowart. Kaiser Sigismund bestätigte zunächst den Burggrafen Friedrich von Hohenzollern. Der Kaiser musste aber der Burg an Buda von Ilburg verpfänden der sie erfolgreich gegen die Jussiten verteidigte. Kaiser Sigismund geriet aber immer mehr in Geldnot. Er musste die im Ungarischen verborgenen Reichkleinodien gegen 1000 Silber Mark der Stadt Nürnberg überlassen. So musste er auch seine Pfandherrschaft Elbogen seinem Kanzler Kaspar Schlick überlassen.

Die Schlicks vermochten sich nur mit Hilfe der Sachsen gegen die Elbogner Bürger zu behaupten. Im Schmalkaldener Krieg fielen Burg und Stadt nach vorübergehender Pfandherrschaft durch Heinrich von Plauen an das Reich zurück. Mit dem dreißigjährigen Krieg begann wie überall der Niedergang der Stadt. Die Stadt wurde nach und nach von Aufständischen, den Bayern, den Sachsen und den Scharen Wallensteins besetzt. Nur die Schweden konnten gegen Ende des Krieges 1646 abgewiesen werden.

Ab 1751 wurde Elbogen Kreisstadt. Die Burg verfiel. Nach einem großen Brand am Ende des 18. Jahrhunderts begann man die Burg wieder aufzubauen. Die Burg wurde lange Jahre als Gefängnis genutzt. In neuer Zeit wurde im Markgrafenhaus ein Museum eingerichtet.