源頼朝が石橋山合戦に敗れて安房に逃れる時に助けた飯田家義の館。

横浜市泉区下飯田にあり、最寄駅は市営地下鉄下飯田駅。

飯田家義は秩父一族で早川城主の渋谷重国の子。大庭景親と所領争いをした過去を持ち、源頼朝が挙兵した際に参軍するはずが、境川にて前後を平家総大将の大庭景親と俣野景久の大庭兄弟に挟まれ、進退きわまって平家軍に加わっています。そういう経緯であったために、源頼朝が敗れると土肥椙山へと誘導し助けています。土肥椙山で窮地を救ったのは梶原景時になります。

その功績によって、源頼朝から飯田郷を安堵されました。