南北朝時代に出羽国で南朝方として活躍した大江氏の流れを汲む。大江氏は出羽管領斯波兼頼と激闘を繰り広げる。正平23(1368)年、斯波兼頼は鎌倉公方足利氏満の支援のもと大江氏を主体とする出羽南朝軍に挑む。これが世に言う漆川の戦い。この戦いで総大将の溝延茂信(時信)、弟左沢元時ら大江一族は自刃し族滅に近い状態となる。この時に難を逃れた大江時氏が足利側に下り勢力を縮小させて地方豪族寒河江氏として存続した。この寒河江氏は、天正12(1584)年に、寒河江高基が最上義光に攻め滅ぼされたことで一旦滅亡する。その後、最上義光は、会津芦名氏の庇護下に置かれていた良光を以って寒河江家を再興させている。これは、良光の母親が最上一族である天童頼久の娘だったこと、旧家臣団の懇願があったことに加えて、新領地支配を固めるためだったとされる。