河越氏は、平重綱の次男秩父重隆(　-1155)を直接の祖とする。重隆は本貫地の河越郷を日吉神社に寄進して地歩を固めるとともに、上野国多胡の源 義賢に娘を嫁がせることで武家の名門源氏との縁を作った。この重隆の兄が秩父重弘。本来なら重弘が秩父氏の惣領を引き継ぐはずだったのが、実質的な権力は弟の重隆が握ったとされている。重弘の子の重能は本来の秩父惣領家としての権限を取り戻すべく、鎌倉に本拠地を構えていた源 義平と組む。義平と義賢は甥叔父の関係。同じ源氏として互いに関東に覇を競っていた。そこに、同じ秩父氏の重隆と重能が同じく叔父甥の関係で絡み合う。

ところが、1155(久寿２)年8月16日に畠山重能と源 義平の連合軍が源 義賢の大蔵館に襲い斬殺してしまう。この時、難を逃れたのが駒王丸こと後の木曾義仲。河越重隆も討ち取られ河越氏は危機に陥る。重隆の子の能隆は毛呂山にある葛貫牧の別当職を務めたが惣領家として武蔵国留守所惣検校職を得ることは出来なかった。とはいえ、武蔵国留守所惣検校職は能隆の子の重頼(　-1185)は祖父を討った源 義平に付き従い保元の乱時には鎌田兵衛政家、後藤兵衛実基、佐々木源三秀義、三浦荒次郎義澄、山内首藤刑部丞俊通、長井斎藤別当実盛、岡部六弥太忠澄、猪俣小平六範綱、熊谷次郎直実、波多野次郎延景、平山武者所季重、金子十郎家忠、足立右馬允遠元、上総介八郎広常、関次郎時員、片切小八郎大夫景重とともに義平十七騎に数えられた。しかし、1159年の平治の乱で源 義朝・義平父子が平 清盛に敗れ平氏の世の中となると平氏方に就かざるを得なくなる。これは時代の趨勢であり仕方がない。この中で比企氏と婚姻関係を結んでいる。鎌倉悪源太義平の弟の頼朝が1180(治承４)年に挙兵した際も、秩父(畠山)重能の子の畠山重忠は平氏方として三浦氏を衣笠城に攻めている。河越重頼が源 頼朝の陣に加わったのは上総氏、千葉氏が頼朝に加わった後であり、畠山重忠や江戸重長といった秩父一族と共にだった。ここに、河越氏と源氏との縁が再び結ばれたことになる。

頼朝は乳母の比企尼の娘聟が河越重頼であった関係から重頼との関係を重視し、重頼の娘を弟の義経の妻とさせた。これは悲劇の始まりであり、河越氏は義経と頼朝との兄弟対立に巻き込まれ、遂には頼朝の追討を受け重頼・重房父子は斬殺されてしまう。河越の所領は重頼の母親や重頼の娘婿の下河辺政義らに分割相続され、秩父一族の惣領としての印としての武蔵国留守所惣検校職は同じ一族の畠山重忠に承継された。重房の弟の重時は命を助けられ鎌倉に留め置かれ名目的に秩父氏の家督を継いだ。重時はやがて河越庄も相続、北条得宗家への奉公により地歩を回復。畠山重忠追討の際には軍に加わっている。弟の重員は重時の死後、在庁官人の日奉實直・日奉弘持・物部宗光に確認の上で武蔵国惣検校職を得ている。武蔵国惣検校職は重員から子の重資に承継される。一方で河越庄は重時の子の泰重へと承継された。泰重の系統は北条得宗家と深い繋がりを持ち、貞重は北条時宗の嫡男で北条貞時の偏諱を受けている。高重も北条高時の偏諱を受けている。河越貞時は越後守北条仲時に従い、佐々木道誉の軍に攻められ番場宿の蓮華寺に自刃している。その頃、子の高重は河越庄にあって新田・足利の倒幕軍に加わったと思われ、鎌倉幕府滅亡後は足利高氏の弟の足利直義に従っている。

河越館跡の西北に残る土塁。但し、これは河越氏当時のものではなく関東管領山内上杉氏の頃のものとされる。

この関係で高重の子の直重は足利直義の偏諱を戴いている。新田義貞遺児の新田義宗と足利高氏との戦いでは新田義宗を越後に追い相模守護職を得ている。更に、新田対策として高氏が子の基氏が入間川に陣を布くと鎌倉留守居を任されている。延文年間には鎌倉の足利基氏執事であった畠山国清に従って楠木正儀ら南朝軍を攻めた。その恩賞が十分でないところ、鎌倉に戻った畠山国清と足利基氏が対立。畠山国清は鎌倉を出奔し挙兵に及ぶ。国清討伐軍に直重も従軍するが、ここでも十分な恩賞は無かった。むしろ、歴戦を共にした国清への同情が深かったことだろう。足利基氏と将軍義詮が亡くなった翌年の1368(応安元)年に、管領上杉憲顕は基氏の子の足利氏満の代理として義満の元服の儀出席のため上京した隙を突いて、河越氏を中心とし高坂・江戸・古屋・土肥・土屋を糾合した平一揆が、河越館を中心に蜂起する。平一揆は平定され、河越館を去った河越氏ら秩父党は伊勢国へと移った。