正平年間（1346-1369）に、名和氏の一族上神高直が石山台に築城し、大永年間（1521-1528）には金川城主松田氏に仕える金光氏が城主を務め、1570（元亀元）年に備前守護代浦上氏の一族浦上宗景の被官の宇喜多直家が金光宗高を謀殺し奪って居城とした城です。

1573（天正元）年に宇喜多直家は亀山城から石山城に居城を移しています。宇喜多直家の子、宇喜多秀家は豊臣秀吉の時代に大大名となり、石山城を大大名の居城に相応しい形に拡張し、石山の隣の岡山に本丸を構え、石山城を二の丸として全体を岡山城としました。