조선 중기까지는 지방민의 교화와 자제들의 중등교육을 담당하였으나 근대에 이르러 향교 재산의 대부분은 학교조합에 이관되었다. 광복 후에는 성균관대학교 설립과 경상북도 유림회의 사업기금으로 수십 두락의 전답을 희사하고 나머지는 토지개혁으로 없어졌다. 1973년 현경길(玄慶吉)이 전교(典校)로 취임하여 6년에 걸쳐서 사재와 보조금으로 명륜당 등을 중수했다. 김산향교에서는 훈도(訓導)가 교육을 담당했다. 사대부의 자제는 대개 7, 8세 이전에 마을의 서당에서 한문의 기초를 배우고 15∼16세 정도 되면 향교에서 중등교육을 받았다. 유생의 수용 인원은 50명 정도로, 동서 양재에 기숙하였으며, 매일 출석을 기록하여 300일 이상 숙식해야만 과거 시험에 응시할 자격을 얻었다. 과거 시험은 매우 까다로워 보통 수년에 걸쳐 소과에 응시하게 되며, 좀처럼 합격이 어려웠다. 소과에 합격하면 생원·진사의 호칭을 얻고 성균관에 입학할 자격을 얻게 되어 대과(大科)에 응시할 수 있었다. 경내에는 문묘(文廟)인 대성전과 강학공간인 명륜당, 기숙사인 동재(東齋)와 서재(西齋)가 있으며 한국 유현을 모시는 동무와 서무가 있다가 없어졌다. 일제 강점기 이후에는 교육기관으로서의 기능이 상실된 채 향사만 행해졌다. 1985년부터는 여름방학을 이용하여 중학생을 대상으로 충효 교육을 실시하고 있다.