Las primeras noticias documentales que hablan de Jávea parten del rey Jaime II, fruto de la necesidad de reforzar las tierras del sur, ya que el siglo xiv comienza marcado por dos conflictos: la guerra con Castilla desde el 1296 y las razzias de los granadinos (1304-1308), con la ayuda de la población morisca del reino.
La zona fue habitada por primera vez en la prehistoria, hace 30.000 años por los habitantes de las cuevas del Montgó. Los residentes posteriores han incluido pueblos de la Edad de Piedra y Bronce, romanos , griegos , fenicios , visigodos , germánicos , cartagineses y moros . Los barcos pesqueros romanos utilizaban el puerto, y hay evidencia que data la ocupación romana de Xàbia en el siglo II aC, lo que convierte a Xàbia en el sitio romano más antiguo conocido en la costa con un puerto comercial de pescado y minerales.
En el siglo VI dC, los monjes cristianos visigodos llegaron a Xàbia y fundaron el monasterio de Sant Martí, que probablemente dio nombre al cabo en la zona denominada Cap San Martí. Hermenegildo , hijo del rey visigodo Leovigildo de Toledo, buscó refugio en el Monasterio tras enfadar a su padre al casarse con una muchacha cristiana. Cuando llegaron las tropas de su padre para arrestarlo, todos menos un monje huyeron a Portichol; Hermenegildo y el anciano monje fueron asesinados. Varias personas con nombres visigodos aún viven en la zona.
De los moros y su cultura queda poco, aparte de algunas lápidas y cerámicas con inscripciones. Habían controlado la zona desde aproximadamente el 714 dC hasta que ellos (los moriscos) fueron finalmente expulsados de la región de Alicante en 1609. La ermita del Popol data del siglo XIV.
En los siglos XVI y XVII eran frecuentes las incursiones de piratas, por lo que se construyó una muralla alrededor de la ciudad para protegerla. La muralla fue posteriormente derribada, y hoy existe una réplica en su lugar en ciertos tramos.