Conjunto arquitectónico que data de muy diversas épocas; la fortificación original, de origen incierto, fue construida probablemente en el año 884 como defensa de la invasión normanda a Sevilla. El palacio que rodea dos patios de diverso tamaño es coetáneo a la Alhambra de Granada. En su construcción, participaron importantes artesanos locales, así como otros toledanos y granadinos, enviados por el rey nazarí Mohamed V. Durante la reconquista, año 1248, se construyeron diversos palacios del que sólo quedan las murallas y escasos restos. Durante el reinado de Alfonso X se construyó el palacio Gótico, siendo el palacio mudéjar de Don Pedro I de Castilla ("El Cruel") la edificación más representativa de esta época cristiana.

Tras el descubrimiento de América se ubicó en el Alcázar la Casa de la Contratación, en cuyo recuerdo se conserva en el recinto la "Virgen de los Mareantes", obra de Alejo Fernández de 1531.