公季の玄孫で、白河院の従兄弟でもあった三条大臣藤原公実の三男通季を祖とする。

通季の曾孫西園寺公経が建立した寺に因み西園寺を家名とした。

公経は源頼朝を助命した池禅尼の子、池大納言平頼盛の曾孫であり、かつ、源頼朝の姉妹坊門姫とその夫一条能保の娘の全子を妻とした。

このことから、幕府と朝廷を繋ぐ関東申次として家名を高め、西園寺家の実質的な始祖と言われている。