El palacio fue construido en el siglo XI, durante el periodo de taifas, como residencia de recreo de los reyes Saraqustís.

Situado a las afueras de la ciudad, rodeado de jardines, huertas y acequias, evocaba el paraíso musulmán; en esta época fue conocido como "Qasr-al-surur" o Palacio de la alegría. La denominación de Aljafería alude al nombre de su promotor, el rey Abu Yafar, conocido como Al-Muqtadir.

Por su estilo artístico, está considerado el eslabón entre el arte cordobés y el nazarí de la Alhambra de Granada. Es la construcción civil más importante del siglo XI en el occidente islámico y el ejemplo mejor conservado de la época de taifas.

Conserva parte de su primitivo recinto fortificado, de planta cuadrangular y reforzado por grandes torreones ultrasemicirculares, a los que se suma el volumen prismático de la torre del Trovador, cuya zona inferior, datada en el siglo XI, es el resto más antiguo del conjunto arquitectónico.

Este recinto alberga en su parte central unas construcciones residenciales que responden al modelo de tipología palacial islámica de influencia omeya, tal y como ya se había desarrollado en los palacios musulmanes del desierto.

El palacio taifal presenta un esquema compositivo a base de un gran patio rectangular, a cielo abierto y con una alberca en su lado sur. A continuación, dos pórticos laterales, con arquerías mixtilíneas polilobuladas que actúan a modo de pantallas visuales y, al fondo, unas estancias tripartitas que sus orígenes estaban destinadas para uso ceremonial y privado.