옛날 해적들 의 소굴이었다는 관음쌍굴은 높이 약 14m로 해적들이 이곳에 배를 숨기고 있다가 지나가는 선박을 약탈했다는 이야기가 있다.

개척당시 경주에서 입도한 월성 김씨라는 분이 고기를 잡다가 태풍을 만나 이 섬에 피해 올라와 추위와 굶주림에 떨다가 밤에 불을 피워 놓으니 깍새가 수없이 날아와서 잡아 구워먹었더니 맛이 좋았다고 하며, 옛날 깍새가 많았던 곳이었기에 깍새섬이라 함.

두 동굴의 천장에서 떨어지는 물방울을 배 위에서 받아먹으면 장수한다는 설이 전해져 오고 있다.