楞严寺建于隋朝末年，因《楞严经》而得名，已有将近1400年的历史，是全国的十八大古刹之一，也是景区内保存最古老的人文景点。光绪年间有遂溪举人陈乔森手书“楞严寺”匾额，并题写了山门对联“洞口留仙眠石榻，门前送客步云梯”。走近寺庙，在寺庙大门门额的“湖光镜月”四个大字是我国清政府第一任驻美公使陈兰彬所题写，如今“湖光镜月”四字是湖光岩作为湛江八景的雅称。进入寺庙，首先看到的是二进厅殿，由天王殿和大雄宝殿组成。现成为了四合式庭院，厅堂、屋顶、四周墙壁上绘有彩色壁画。天王殿伺奉着弥勒佛、韦驮及护法大神四大天王。大雄宝殿伺奉横三世佛（消灾延寿药师佛、释迦牟尼佛、南无阿弥陀佛）、十八罗汉、千手观音、送子观音等30多尊佛像。 楞严寺的独特之处在于大雄宝殿，宝殿是依天然火山岩洞修建而成。这是一种凝灰岩结构的火山岩洞，凝灰岩的蓄水性特别好，所以岩石经常是比较潮润的。奇怪的是这座大雄宝殿常年保持干燥，即使是下暴雨也没有渗过一滴水，因此，寺庙规模虽小，但是香火却十分旺盛，前来参拜的善男信女络绎不绝，香烟缭绕。寺内右侧岩壁上刻着李纲的两首诗：《还至城月别琮师》和《赠琮师》，这是李纲在广东不可多得的遗迹，也是李纲和当时的主持释琮深厚友谊的见证。