El castell de Vernet construït i esmentat al segle XI es troba en bon estat de conservació. Al segle XVI s’inicià la construcció de cases al voltant. Té una planta rectangular, a diferència dels castells de l’època, on a les terres de frontera eren predominants les torres de planta circular. És declarat bé cultural d’interères local.