清和源氏武田氏流の青木尾張守信種の次男である信明が甲斐国巨摩郡山寺郷を所領としたことにより山寺を称したことに始まる。家紋は丸に花菱。