お城に入って直ぐの場所にある。正保城絵図には荒和布櫓と呼ばれていた建物があった。太鼓櫓は時刻を知らせるための太鼓が置かれたもので1854(嘉永７)年の大地震の後に三の丸に建てられたものを移転したもの。