鎮守府将軍藤原利仁の子である藤原叙用が伊勢神宮の斎宮頭となり斉藤と称したことに始まる。斉藤叙用の子孫は繁栄し、加賀、能登、越中に勢力を広げた。家紋は撫子。