桓武平氏良文流秩父氏族.埼玉県飯能市高山を発祥の地とする.秩父重綱の子・重遠が武蔵国高麗郡高山邑を本拠地として高山を称したことが起源.高山重遠は上野国緑野郡高山[群馬県藤岡市美九里地区字高山]に移り,子の重久が高山を同じく子の重幸が上野国緑野郡小林邑を受け継いだ.高山氏は高山党を形成.江戸時代には高山衆と呼ばれた.重幸の系統は小林を称した.
戦国大名の高山右近は高山党の庶流であるとも言われる.
家紋は祇園守など.
