1863（文久3）年、時化の為に、共に下田に入港上陸した山内容堂と勝海舟が宝福寺にて面談する。これは下田会議と呼ばれるが、この場で坂本龍馬の脱藩の罪、帰藩の事が許された。この時、角谷には勝海舟、乾退助（板垣退助）などが宿泊したという。