En La Peza permanecen los restos de un castillo construido entre los siglos IX y X y que alcanzó gran importancia durante el periodo nazarí como vigía del camino que unía Guadix con Granada. En su histórica visita a Granada de 1494, el viajero alemán Jeronimo Münzer lo describió así: “A las tres leguas llegamos al castillo de Lapesa, en un monte altísimo, y allí descansamos toda la noche. Todos allí eran sarracenos, menos el alcaide y huésped nuestro, que nos alojó al pie del monte”.