Вероятно, первоначально здесь находилась римская крепость. Потом в 1172 году на этом месте был возведен мусульманский замок. В 1239 виконт Кардоны захватил его при помощи альмогаваров, каталонцев и Ордена Калатрава. После возникших между арагонцами и кастильцами разногласий, замок остался в руках последних, став столицей поместья Вильена. Вскоре замок перешел дону Мануэлю. После его смерти он оказался в руках выдающегося писателя Дона Хуана Мануэля. Дон Хуан Мануэль обвенчался с инфантой Констанцией Арагонской, дочерью короля Хайме II, которой на тот момент было лишь 6 лет. Он заключил её в замок до тех пор, пока ей не исполнилось бы 12, и когда он смог на ней жениться. Пребывание Констанции вынудило Дона Хуана Мануэля осуществить некоторые реформы, направленные на улучшение безопасности замка.
