تم بناء القلعة البحرية في عهد الصليبيين، وقد تم تشييدها على إحدى الجزر الصخرية، وهذه الجزيرة تبعد مسافة 80 متراً من الشاطئ، ويربط بينهما جسر من الصخور البديعة، ثم أمر الأشرف خليل بن قلوون ببناء مسجد داخل القلعة، فأصبحت القلعة تجمع بين الطرازين الصليبي والإسلامي، وقد بنيت القلعة بغرض صد هجمات الغزاة، وتكونت من برجين يصلهما جدار تم الاستعانة بالأعمدة الرومانية في بنائه.
ويحيط بالقلعة عدد من مطاعم الأسماك التي تشتهر بها صيدا، كما يوجد عدد من الفنادق المناسبة لإقامة زوار المدينة، ويمكن لزوار القلعة الصعود للبرج الغربي ومشاهدة المدينة القديمة والميناء، أما البرج الشرقي فهو غير آمن للاستخدام.