その昔、法多山の北方面、今のエコパに抜ける道に位置する小さな集落「北谷（きただに）」に「北谷寺（ほっこくじ）」というお寺がありました。廃寺になったので、御本尊を法多山にお連れしておまつりすことになりました。

古い地図には池のほとりに「薬師堂」と書いてある場所があります。それは今の氷室神社の拝殿のことで、氷室神社の御本尊様が薬師如来だったので薬師堂と呼ばれておりました。明治の神仏分離で神社をおまつりすることが不可能となり、その拝殿が空き家のようになってしまったのを嘆き、そこに北谷寺からお連れした十一面観音さまをおまつりし、北谷寺と呼ばれるようになりました。

平成10年（1998年）この地方を襲った大雨で、境内の階段が崩れるほどの被害がでた時、北谷寺は流され潰れてしまいました。破壊されたお堂から御本尊様をお救いし、大師堂（現在の諸尊堂）に仮でおまつりすることとなりました。

その後、2004年に本堂向かって左の位置に現在の「大師堂」が落慶し、お大師様はそちらでおまつりされることになりました。 その際に、脇におまつりされていた、北谷寺の観音様を御本尊として「諸尊堂　兼　北谷寺」としました。

なぜ、北谷寺の十一面観音さまが大切に扱われ、広く人々の崇拝を集めたのでしょう？それは、北谷寺の十一面観音様は江戸時代から人々に愛された霊場巡り「遠江三十三観音」の札所であったからです。そのため被害にあわれても、人々は大切にその観音様と札所を残そうと尽力しました。

今では遠江三十三観音の遺構はあまり残されておりませんが、法多山尊永寺の諸尊堂の右側には、江戸時代から伝わる小さな石碑「第五番札所　北谷寺」と書かれたものが保存されており、現在でも見ることが出来ます。数々の歴史の変遷をへて辿り着いた十一面観音様は、今でも「北谷寺」のお厨子の中に大切にまつられています。

また、諸尊堂と呼ばれるように、この旧本堂である歴史あるお堂には、十二支守本尊、出世大黒天、賓頭盧尊者（おびんずるさま）がおまつりされています。また、かつての時代に奉納された出征祈願の扁額も残されており、激動の時代を今に伝えています。