La villa de Cabanes nace en 1243 como una alquería que dependía de Miravet. La pujanza de Cabanes y la despoblación de Miravet hizo que en 1575 se anexionaron los términos de Albalat, Sufera y Miravet, de aquí los tres castillos que componen el escudo del municipio. En su inicio, Cabanes lo constituían unas pocas calles, pero el crecimiento de la villa obligó a la reestructuración de sus murallas y así experimentó a lo largo de los siglos diferentes modificaciones y ampliaciones de estas.

Como todo núcleo amurallado, presentaba portales por los cuales entrar y salir, pero también para proporcionar un punto de control del acceso. Destacan los del Mar, Sant Mateu, Sant Vicent, Sant Antoni y del Sitjar, de los cuales solo perdura el último. El recinto amurallado se conservó hasta el año 1857, pero hoy todavía se pueden apreciar en pie dos torres del recinto amurallado a extramuros.