ＪＲ東海道線の湯河原駅前が土肥氏の館址だと考えられている。駅のすぐ裏手には土肥実平を中興開基とする城願寺があることの証左の一つだろう。

『新編相模国風土記稿』には「実平宅跡城願寺前の白田を云」うとある。

もっとも、『新編相模国風土記稿』に「今遺跡の存するものなし」とされている。

『新編相模国風土記稿』は1841(天保12)年に昌平坂学問所地理局によって編纂されたもの。江戸時代の時点で既に館跡の痕跡は消失していたことになる。

土肥氏が1213(建暦3)年の鎌倉幕府有力御家人・和田義盛による和田の乱で滅亡に近い形となり、後に中興した時は安芸と越中を本拠とするようになっていたから、当然かもしれない。