M.Ö. 5. yüzyılda bugün kulenin bulunduğu adacıkta bir gümrük noktası oluşturulmuş ve Karadeniz’den gelen gemileri denetlemek ve vergi almak amacıyla bir kule inşa edilmiştir.

Fetih’ten sonra Fatih Sultan Mehmet buraya yeni bir kale inşa ettirmiştir. Kaleye bir nöbetçi birliği yerleştirmiştir. Her akşam yatsıdan sonra ve seher vakti, kulede mehter nöbet çalmaya başlamıştır. Bayramlarda ve padişahların tahta çıktıkları zaman sahil saraylarını ziyaretlerinde Kız Kulesi’nden top atışı yapılması gelenek haline gelmiştir.