江戶時代（1603-1868年），高山陣屋作為行政中心和鎮上官員的住所。高山陣屋以其優質的木材和高超的木匠技藝而聞名於世，曾被德川幕府直接控制，如今，高山陣屋為人們提供了一個了解高山鎮歷史的迷人視角。

雖然現在的建築是19世紀初的重建，但從高山陣屋的構造和美感上可以看出當地工匠的技藝。事實上，該建築群直到1969年還在使用，而現在則作為博物館使用。

建築群包括主要的行政中心和住宅、附屬建築和倉庫等多個建築。高山陣屋是最後一座建築，全年（12月29日-1月1日除外）08:45-17:00對公眾開放。門票為440日元。