객사는 조선시대의 지방 관아 건물로 고을 수령이 임금의 위패를 모시고 예를 올리는 정청과 중앙에서 파견된 관리나 외국의 사신이 머물렀던 좌우익실로 구성되어 있다.
서산객사는 본래 지금의 시청인 관아 내에 있었다. 처음 세워진 연대는 정확히 알 수 없지만, 시청 내에 남아 있는 외동헌과 관아문의 기법과 같은 것으로 보아 조선 후기에 세워진 것으로 보인다. 지금의 위치로 이전된 것은 일제강점기의 일이다. 현재 남향으로 세워진 이 건물은 앞면 8칸, 옆면 2칸의 규모로 잘 다듬어진 화강석 기단 위에 세워졌다. 지붕은 팔작지붕이다. 자리를 옮긴 이후 서산읍사무소, 서산농촌지도소, 서산문화원으로 사용하다가 1994년에 학계의 고증을 받아 복원, 정비하여 비로소 옛 모습을 찾고 관광지화되었다.
이곳은 서산시청과 가까우므로 원래 관아 위치에 남아있는 외동헌, 관아문도 함께 관람할 수 있다. 그 외에도 주변에 서광사, 서산향교, 서산중앙호수공원 등이 있다.