Un poco de historia
La Orden del Temple creó la Encomienda de Olivenza, dotándola de Castillo y de una Iglesia dedica a Santa María (1256) junto a la fuente de la Corna.
En 1306 D. Dinis de Portugal elevó la antigua aldea castellana 
a la categoría de villa e inició la reconstrucción de la fortificación templaria dándole forma de cuadrilátero. Ocupando una superficie de 18.600 metros cuadrados y un perímetro de 533 metros. Los muros de mampostería, de 3 metros de ancho y de 12 metros de altura. Colocando una puerta fortificada con dos torreones en cada cortina.
Tras alguna restauración se conservan las cuatro puertas, si bien una perdió definitivamente sus torreones. Los ángulos están protegidos con torreones, siendo la del ángulo este una torre albarrana de 19 metros, a sus lados hay otras dos de 14 metros. Se conservan 10 torreones sin incluir la torre del reloj.
D. Afonso IV, las completa en 1335 erigiendo en su interior el recinto del alcázar. Cada una de las cortinas del recinto es de diferente longitud. Este recinto ocupa una superficie de 1.450 metros cuadrados y un perímetro de 157 metros.
La torre del reloj se construyó en 1460 sobre la torre de la esquina oeste de la ciudadela medieval.
D. João II mandó hacer una cava inundable, que puede verse recuperada en el lado norte. En 1488 levantó la Torre del Homenaje, su sistema de comunicación se basa en 17 rampas para salvar sus 37 metros de altura, su base es de 18 metros de lado. Tiene 24 saeteras y esta dotada de matacanes.
El fuerte crecimiento de Olivenza 
obligó a construir tres murallas más a lo largo de los años, apenas se conservan restos de las murallas segunda y tercera.
La muralla abaluartada que se puede contemplar hoy es la cuarta y sufrió tres grandes asedios durante la Guerra de Restauración. Aún se conservan sus nueve baluartes originales, aunque no al completo, y bastantes garitas. Están formados por muros de tierra revestidos de piedra, construidos en la segunda mitad del siglo XVII. 
Las batallas que le sucedieron, sobre todo las de la Guerra de la Independencia, la fueron dañando progresivamente.
El perímetro de la muralla abaluartada es de 3.800 metros y la superficie ocupada es de 430.000 metros cuadrados, dándonos idea du sus dimensiones.
La puerta más espectacular es la de la muralla abaluartada es la denominada Puerta del Calvario
y se orienta hacia Portugal, como puerta principal que fue en la época portuguesa. Sorprende su fábrica de sillares de mármol almohadillado y la aberturas del mecanismo del puente levadizo.
El cuartel de Caballería es del siglo XVIII, construido como consecuencia de la reforma operada en la organización del ejército portugués durante el reinado de D. João V. Una larga fachada con dos líneas superpuestas de ventanales, dan al conjunto su sobriedad y ritmo marcial. El conjunto está dividido en su mitad por una escalinata avanzada sobre la fachada.
El cuartel de San Carlos, del siglo XVIII, destaca por sus enormes contrafuertes. Todo el conjunto es de líneas sobrias y de gusto neoclásico.