巨石を祀る神社。この巨石はかつては二条城の南にあったもので、皇居(内裏)の築山に使おうとして動かそうとしたら吼えたとも伝わる。また、子供に化けて二条城の側の神泉苑で怪奇現象を引き起こしたことから、禿童岩とも呼ばれたとも言う。二条城側の二条堀川から後水尾天皇の女御の中和門院の住まいに移したものの怪奇現象が相次いだために、現在の西陣の地に有乳山岩神寺を建立して祀った。

その後、1730(享保15)年の大火「西陣焼け」と1780(天明8)年の「天明の大火」で有乳山岩神寺は類焼し規模を縮小。明治時代に廃絶し岩のみが残された。

その岩を織物の千切屋さんが裏庭に岩上神社として祀ったもの。