1505（永正2）年に、一色城主牧野古白（成時）によって今橋城として築かれた。戸田氏への防波堤となることが期待されての築城であったと考えられる。築城に動員されたのは、真木氏、岩瀬氏、能勢氏、稲垣氏、山本氏。すぐ目と鼻の先には戸田宗光が城主である二連木城がある。当時、戸田氏は室町幕府政所執事である伊勢貞親の被官として渥美半島に勢力を拡大させていた。戸田宗光が今川方の多米又三郎の船形山城を攻める（第一次船形山城の戦い）。多米又三郎は討死し、船形山城は戸田氏の手に落ちる。これに対して、今川方は掛川城の朝比奈泰以を東三河に侵攻させる（第二次船形山城の戦い）。朝比奈泰以によって戸田宗光は討ち取られ、戸田氏は今川氏の軍門に下った。

ここで、牧野氏の立場は微妙なものになる。また、牧野氏の今橋城は戸田氏の備えという性格から西三河の松平氏への備えとして性格を変えることになる。

築城の翌年、田原城主の戸田憲光が今川氏親に牧野氏が西三河の松平氏に内通していると讒訴。今川氏親が伊勢盛時（後の北条早雲）を総大将として東三河に侵攻し今橋城を包囲。この戦いは今川方の勝利に終わり牧野古白は自害して果てた。

とは言え、今川家にとって戸田氏は新参者。容易に前線を委ねることは出来ない。今橋城は戸田氏の支配下に置かれていたが、1519（永正16）年に牧野一族である牧野成三、信成、成高、成敏が今川氏の事実上の支援を受けて今橋城を奪還することに成功する。牧野成三は今橋城を吉田城と改めたが、病弱であったため、城主の座を弟の信成に譲った。