汉末晋初年间，道教祖师葛玄曾游历江浙一带，至玉环岛（古称：地肺山）见凤凰山风景秀丽风水绝佳，遂在凤凰山潜居修道炼丹，丹成杳杳不知所踪，唯留丹庐一座，后人为纪念遂在丹庐旧址修庙一座。几经风雨残破不堪，后至清康熙年间，康熙帝南巡时曾至古庙旧址，问及随行官吏。答曰“只知乃晋时葛玄炼丹留丹庐改建”。始于何年今已难考。山崖尚存葛玄符图石刻一幅。后清嘉庆末年，山下汪洋漩涡水急，时有覆舟，渔民常遭倭寇抢杀夺掠。民众筹资于古庙遗址修建杨府庙一座，以求乡方宁静，境界清平。1958年，第一次回填漩门，庙堂被拆，乡绅信众将香炉暂奉大山头道院吕祖殿。1973年，由当地李姓善人带领信众在石刻符图左下开山辟地重新盖建小庙一座请回香炉安置庙内。1984年，扩建坐北朝南正屋3，左右两侧单房4间。现新建大殿5间，单房阁楼等，兼祀杨府神将全堂。