El nombre de la villa de las Altas Torres proviene por las que rodean el recinto amurallado. No posee un origen determinado (podría ser de origen prerromano, o según su morfología podría responder a un asentamiento árabe fortificado, o también que se podría tratar de un poblado de reconquista), con fuero desde 1168 gracias a Alfonso VIII, esta villa ha sido frecuente residencia de reyes.

Destaca en la villa su impresionante plaza Mayor, rodeada de soportales y jalonada de casas blasonadas. Merece la pena caminar por sus calles empedradas, su adusta y bella arquitectura castellana, su conjunto monumental que integra dos iglesias mudéjares, dos conventos y un hospital. Uno de estos templos es el de Santa María del Castillo, de nave redonda, que conserva una cabecera de estilo románico de ladrillo. Si paseamos por la calle de El Oro nos toparemos con el Arco de Piedra.

El recinto amurallado de Madrigal de las Altas Torres es una fortificación defensiva que rodea todo el centro urbano de la localidad. Constituye un ejemplo excepcional de arquitectura militar medieval y relevante testimonio del sistema constructivo mudéjar.

El conjunto de la muralla forma un perímetro ovalado irregular y alargado de oeste a este, debido a que fue adaptándose de los accidentes topográficos del terreno, cercaba una superficie de 39,04ha. De una longitud cercana a 2.300 m y un espesor medio de 1,5 metros. Tiene cuatro puertas orientadas a los cuatro puntos cardinales que reciben el nombre de las poblaciones a las que conducía (Medina, Peñaranda, Arévalo y Cantalapiedra).