La primera referencia documental sobre este castillo data del año 848 y es de origen musulmán, cuando servía como punto estratégico de vigilancia de un antiguo camino a La Mancha.

En el siglo XI pasó a ser propiedad de Alfonso VI de León y Castilla como parte de la dote su esposa Zaida e hija del rey moro. Posteriormente, en diciembre de 1086, fue donado por Alfonso VI a la Catedral de Santa María de Toledo, siendo reformado en el siglo XIV por mandato del arzobispo de Toledo don Pedro Tenorio. Fue entonces utilizado como prisión para don Alfonso Enríquez, conde de Gijón y de Noreña e hijo bastardo de Enrique II de Castilla, apresado por orden de su hermano Juan I de Castilla.

En el siglo XVIII pasó a formar parte de las propiedades de los condes de Mora y en 1809 sirvió como refugio a las tropas del general Venegas en la lucha contra los franceses en la Batalla de Almonacid, aunque en vano, pues finalmente, el castillo fue conquistado por las tropas francesas.