1698(元禄11)年に遠藤胤親が1万石で立藩。胤緒が江戸城西ノ丸造営の功によって2000石を加増され1万2000石となる。明治維新に至るまで遠藤家の支配。
明治維新時には胤城(たねき)が徳川幕府最後の将軍徳川慶喜の側近だったことにより一度は領地を召し上げられた。