Der Palast wurde eigentlich für Lobkowitz gebaut. Das war eine der einflussreicheren Familie in Prag, aber im Ablauf von einigen Generationen wurde der Palast den Schwarzenbergs übergegeben. Nach dem zweiten Weltkrieg wurde er konfisziert, weil die Schwarzenbergs für Kollaboration mit den nazistischen Offizieren beschuldigt waren. Vom Jahr 1945 ist hier das Militärische Museum mit der Sammlung von militärischen Plänen, Uniformen und Waffen aus den wichtigen tschechischen Schlachten.