大友氏配下の富来氏が本拠とした城。

富来氏は、鎌倉時代の1196（建久7）年、豊前・豊後両国守護兼鎮西奉行となった大友能直に従って、鎌倉御家人の永井石見守実貞が子の実継とともに下向したのが始まり。なお、大友能直は、1213（建暦3）年の和田合戦では京六波羅にいることから考えると、九州支配は守護代を通じて行ったと思われる。

富来氏は実忠の代で1261（弘長元）年に富来城を築城と伝わる。あるいは、1299（正安元）年に富来忠政こと富来忠虎が築城したとも言う。

但し、富来氏に関しては、866（貞観8）年に紀朝臣継雄が国崎郡司に補されて以降、その子孫が土着したものとも言われている。また、国東半島の伊美八幡が紀氏出身の奈良大安寺の僧行教が886（仁和2）年に京の岩清水八幡を勧請しており、この地域が古くから紀氏にゆかりのある地であったと考えられる。国東半島には紀朝臣継雄の子孫が多く土着し、溝部・柳迫・何松・志手を名乗った。ここに、同じく紀氏の流れを汲む永井石見守実貞が大友氏に従って下向したとも考えられなくもない。しかし、大友氏入部以前から勢力を有して、大友氏入部以降に従ったと考えるほうが自然だろう。

富来氏18代の富来実直は実は大友氏4代親時の庶子忠政であるとの伝承があるが耳川の合戦にて子の実信とともに討死。跡を継いだ富来鎮久も朝鮮にて討死。大友義統が改易後、富来統長は浪人となり富来城を離れ日向へ。その子の長利が佐賀で自刃したことにより富来氏は断絶。

富来氏が去った後の富来城は、豊臣秀吉が垣見家純を城主とした。関ヶ原の戦い時に垣見家純は西軍に属し美濃大垣城にて討死。東軍の黒田如水は城代垣見理右衛門の守る富来城を攻撃し落城させた。