灵山寺坐落于东西村。早在唐朝咸通年间，高僧启爽云游到此，见这里山清水秀，一尘不染，心生欢喜便在灵山结茅诵经，宣扬大乘妙法莲花经。

一天，偶尔听得山南有钟鼓声响，便寻足迹而去。只见海潮直抵山下，拍滩击岸，如发鼓磬之声。和尚心想：在这里建一所大佛寺，该是一件好事。可是陆地太少， 他对着大海说：“龙若有灵朝水不涨没滩涂，后海潮果然不复上涨。”

这件奇事，由地方官奏报懿宗皇帝李冶金知道。以和尚能在海天一隅，宣扬大乘教法。感化龙王实属道德所至，因而派人赐封灵山寿圣寺。

此后，历朝历代都有关于灵山寺的奇闻。

直至明朝，灵山寺列为玉环十大寺院之冠，是浙南有名的弘法道场。据《玉环厅志》33页“方外”中记载，乾隆年间，灵山寺慈明和尚，严戒行，亦通文墨，一日 外出，其僧徒私买海螺，去其尾壳煮食之。已煮熟矣，适慈明归，众皆避去，慈明取而撒之前溪，口诵偈言送入清溪流水中，嗣后，溪河中往往飞出螺蛳，缺尾半 截，而活如故。而今寺前溪中螺蛳均无尾部。

寺前有三板桥、石牌坊、七枝塔、卷洞桥、十八踏、石狮子、擂鼓门、九株樟等诸多文物古迹。乾隆皇帝游灵山寺的传说更是流传至今。