もともとは、50メートル西の湯前神社の境内にあった。しかし、昭和24年のキティー台風によって湯前神社が被災。薬師堂を除いて壊滅した。　その残った薬師堂を昭和51年に現在の地に移築したという。
見るかに古いということがわかるが、栗山村で一番古い建築物とされる。また、起源としても、宝暦11(1761)年の御神籤箱が残されているというようにかなり古くまで遡る。