La vila de Cabanes naix l’any 1243 com una alqueria que depenia de Miravet. La puixança de Cabanes i la despoblació de Miravet va fer que en 1575 s’annexionaren els termes d’Albalat, Sufera i Miravet, d’ací els tres castells que componen l’escut del municipi.
En el seu inici, Cabanes el constituïen uns pocs carrers, però el creixement de la vila obligà a la reestructuració de les seues muralles, i així experimentà al llarg dels segles diferents modificacions i ampliacions d’aquesta.
Com tot nucli emmurallat, presentava portals pels quals entrar i sortir però també per proporcionar un punt de control de l’accés.
Destaquen els de la Mar, Sant Mateu, Sant Vicent, Sant Antoni i del Sitjar, dels quals només perdura l’últim.
El recinte emmurallat es va conservar fins a l’any 1857, però avui encara es poden apreciar en peu dues torres del recinte emmurallat a extramurs.