Le château qui veille sur le village et le port de Baltimore depuis un éperon rocheux a également donné son nom gaelic, qui signifie 'fort des joyaux' á ses alentours. Construit par Lord Sleynie, une famille anglo-normande en 1215. On pense que ces «joyaux» font référence au rôle du château dans le recouvrement des impôts prélevés sur les navires étrangers entrant dans le port.

Au cours d'une histoire longue et turbulente Dún na Sead passa en beaucoup de mains différentes, notamment celles des O'Driscolls, jusqu'à ce qu'il finit par tomber en ruine après qu’Oliver Cromwell y garisonna ses troupes en 1649. Parmi les premiers à mettre á sac le château ont été les McCarthy en 1305. Par une heureuse coïncidence, le château de nos jours a été restauré avec soin par d’autres McCarthys, les propriétaires á présents. Les visiteurs peuvent admirer une fois de plus le 'Great Hall' ou profiter de la vue panoramique sur le port de Baltimore depuis les remparts.