È il più settentrionale comune costiero della provincia. Amministrativamente l'odierno Comune nasce nel 1893 distaccandosi dal Comune di Recanati, del quale era frazione. I romani fondarono nel 184 a.C. la città di Potentia nell'ambito del processo di colonizzazione della costa adriatica. Le invasioni barbari che e la guerra gotica della prima metà del VI secolo indussero gli abitanti di Potentia a cercare rifugio nelle alture ai lati del fiume Potenza (Flosis), in zona Montarice e nell'attuale contrada Torretta, oppure risalendo la vallata sistemandosi sulle colline e lasciando alle inondazioni e all’impaludamento le terre abbandonate. Intorno al Castello Svevo (Castrum Maris) per dono di Federico II si è sviluppato il primo nucleo abitativo intorno al XIII secolo. Il castello viene completato solo durante il XV secolo, per il porto ci sarà da attendere. La principale attività dell'epoca era il carico e lo scarico delle imbarcazioni direttamente al castello (chi trasgrediva era soggetto a multe salatissime), ma del porto ancora nulla. Agli inizi del XVI secolo vennero presentati dei progetti per la costruzione del porto (Porto Giulio) per mano del Maestro Giorgio Spaventa, ingegnere veneto. Nel 1510 papa Giulio II decise di finanziare l'opera. Ci è noto che i lavori furono più volte interrotti. Nel 1518 si subì una pesante invasione da parte dei Saraceni che riuscirono a penetrare nel castello costringendo quindi ad aumentare le difese e costruire una nuova torre (1575) per delimitare il confine sud portorecanatese (distrutta nel corso della seconda guerra mondiale).