遊客對小門的印象就是鯨魚洞，關於鯨魚洞的由來眾說紛紜，比較普遍的說法是有條小鯨魚擱淺在小門岸邊，母鯨極力搶救卻無力回天，母鯨因悲傷過度而撞山壁自盡，於是撞擊出了這樣一個類似鯨魚身體形貌的鯨魚洞。但是實際上，所謂的鯨魚洞在地質學上來說是海蝕作用所鑿出的一個海蝕門，包括平行侵蝕與垂直侵蝕的結果，鯨魚洞旁邊有一根海蝕柱，原本也是海蝕門，後因上頭的門頂陷落而變成海蝕柱。