O significado do nome vem do forte histórico de São José da Ponta Grossa, um dos 3 fortes que formavam o triângulo de defesa da baía norte da ilha, construído entre 1739 e 1745. A fortaleza atuava junto a outros dois fortes também na ilha e ainda como apoio para manutenção do domínio português em Colônia de Sacramento, no Uruguai.
A construção fica no alto de um monte, estrategicamente posicionado para avistar amplamente o mar, o que permite uma linda vista.
Descendo pela estrada ou escadaria ao lado da fortaleza se tem acesso à Praia do Forte. Um lugar paradisíaco, preservado, possui águas calmas, quentes e a faixa de areia branca em meio à pedras que emolduram o local. Ideal para banho, com águas mornas durante o verão.
O acesso à Fortaleza e Praia do Forte é através da Av. dos Búzios, em Jurerê.