清和源氏満快流依田氏族.長野県佐久市上平尾・下平尾[小県郡依田庄]を発祥の地とする.応仁の乱の頃,依田修理亮為泰が小県郡依田庄から移り,湯川の断崖上に白岩城[平尾館]を築城し平尾を称したことが起源.第3代の平尾守信が永正年間[1504-1521]に詰めの城として平尾城を築城.武田信玄による佐久侵攻が行われると平尾為信は降伏.しかし,平尾為信の子・守房は武田に与することを潔しとせず,上野松井田城へと落ち延びる.その後,上野松井田城が武田軍により攻略されると帰郷.
第5代平尾守芳は小諸城主・依田康国に仕え,天正18[1590]年に依田康勝が上野国藤岡に移るとこれに従った.家紋は三つ蝶など.