1440(永享12)年、三河国碧海郡周辺を支配していた和田親平が築城したと伝わる。和田氏は足利流畠山氏の一族と言われる。

この地は三方を湿地に囲まれた台地の突端に位置し、北側に濠を掘った平山城。

1471(文明3)年頃、三河国岩津城主・松平信光が奪取。松平親忠、長親、信忠、清康の安祥松平氏４代の居城となった。安祥松平氏が岡崎城に居城を移すまで、この城は1540(天文9)年から10年間の間に駿河今川氏と尾張織田氏からの攻撃を五度も受けた。

松平清康が1535(天文4)年に森山崩れによって殺害されると、嫡男・広忠は大叔父・信定によって追放。広忠は10年後に再び岡崎城に入るが松平家中は乱れた。

その乱れを好機と捉え、1540(天文9)年に尾張国古渡城主・織田信秀が安祥城を攻撃し落城。織田信広が城代となる。

何度も、松平氏と織田氏との間で攻防戦が繰り広げられ、1545(天文14)年に広忠は安祥城奪還のために出陣。織田軍の挟撃に遭って、本多忠豊の死をもっての奮戦によって岡崎城に撤退。

広忠は今川義元に救援を求めた。そして、幼い竹千代、後の徳川家康が人質として今川へと送られることとなる。途中、竹千代が戸田康光によって拉致され織田氏に送られた話は有名。

これに対して、今川義元は太原雪斎を派遣し安祥城を攻め落城させ城代・織田信広を人質とする。

そして、竹千代こと後の徳川家康と織田信広の人質交換がなされるのである。

桶狭間の戦いの後、徳川家康が織田信長と結ぶに至って、尾張への備えとしての安祥城は意義を失った。