世田谷は千歳烏山にある高橋氏が築いた砦です。

1524（大永4）年に江戸城を守っていた太田資高が北条氏綱の誘いに乗って扇谷上杉朝興を裏切ります。この背景には太田資高の祖父の太田道灌が扇谷上杉朝興の祖父の扇谷上杉定正によって暗殺されたことがあると言われます。

1486（文明18）年、扇谷上杉家の家宰の太田道灌は扇谷上杉定正の糟屋館に招かれ、そこで暗殺されてしまいます。太田道灌の勢力が大きくなったことを扇谷上杉定正が恐れたためとされます。太田道灌は万が一の備えとして嫡男の太田資康を第5代鎌倉公方にして初代古河公方の足利成氏に預けていました。父親の暗殺を知った太田資康は江戸城に戻りますが扇谷上杉定正の軍勢が押し寄せたために甲斐に落ち延びます。この時、扇谷上杉定正の兄弟で相模守護・三浦時高の養子となっていた高救も太田道灌の暗殺に抗議して追放されます。以降、太田資康と三浦高救・義同父子は扇谷上杉定正と対立していた山内上杉顕定の陣営に加わります。

1494（明応3）年に三浦高救・義同父子の養父であった三浦時高が死去し、三浦高救・義同父子が三浦家を掌握。続いて、同じ年に、扇谷上杉定正が荒川の渡河中に落馬して死去。これによって、太田資康は新当主の扇谷上杉朝良への帰参が許されます。そして、1505（永正2）年頃に菅谷城から江戸城に復帰。しかし、1516（永正13）年に三浦義同は北条早雲に攻められ新井城にて自刃。この戦いの中で三浦義同への援軍として新井城に駆け付けた太田資康も討死しました。

ともあれ、北条氏綱が高縄原合戦によって江戸城を奪い、次の照準を扇谷上杉朝興の本拠・河越城に定めると、扇谷上杉朝興は難波田広宗に命じて深大寺城を大改修して備えます。

その深大寺城への備えの城砦として北条方の高橋高種の子の高橋氏高が築いたのが烏山砦。そして、高橋氏高の兄で北条氏綱の養子となっていた北条綱高が築いたのが牟礼砦になります。北条綱高は1524（大永4）年の江戸城攻略における戦功によって北条氏綱の養子となった人物。

高橋高種は筑後大蔵高橋家の当主であったが継母の讒言で出奔し室町幕府第9代将軍足利義尚に仕えます。筑後大蔵高橋家は弟の長種が継ぎました。高橋高種が将軍に仕えることが出来たのは母が畠山政長（正覚寺城主）の娘だった関係によります。その畠山政長の要請によって堀越公方足利政知のもとに派遣され伊豆雲見城の城主となります。1491（延徳3）年に足利政知が死去すると廃嫡されて幽閉されていた足利茶々丸が決起し弟の潤童子と継母・円満院（第11代将軍足利義澄の実母）を殺害し堀越公方を継ぎます。この騒動の中、高橋高種は堀越公方家を去って伊豆雲見城に蟄居。

これに対して、1493（明応2）年、管領細川政元によって堀越公方足利政知の子で第11代将軍に擁立された足利義澄は実母を殺された報復として、北条早雲こと伊勢盛時に対して足利茶々丸の討伐を命令。1495（明応4）年に北条早雲こと伊勢盛時は足利茶々丸を伊豆から追放。その前後に高橋高種は北条早雲から誘われて陣営に加わり、伊豆平定で戦功を挙げたことで北条早雲の養女を妻として一門に準じる扱いを受けるに至っています。

高橋氏高の築いた烏山砦には世田谷城主吉良頼高が吉良家の菩提寺として泉澤寺を建立した場所でもあります。泉澤寺はその後焼失し現在の川崎の小田中村に1549（天文18）年に構堀を有する城塞寺院として再建されています。烏山にあった泉澤寺も城塞寺院であったとも考えられ、その跡地に1537（天文6）年に高橋氏高が砦を築いたのももっともだと言えます。

なお、烏山砦の址は烏山神社となっており、境内には高橋氏ゆかりの番神堂記念碑があるのみです。