鎮守府将軍藤原秀郷の流れを汲む藤原氏流足利氏の支族である大胡氏の支族。武蔵国豊島郡牛込邑を本拠地としたことによって牛込を称した。