台灣省台南縣人，成功大學交通管理學士，中興大學都市計劃碩士，泰國亞洲理工學院系統工程碩士，成功大學土木工程博士。
劉玉山曾任台灣地區行政機構經合會都市發展處技正，台灣地區行政機構經設會都市規劃處技正，台灣地區行政機構經建會都市及住宅發展處技正，台灣地區行政機構經建會都市及住宅發展處簡任技正，台灣地區行政機構經建會都市及住宅發展處副處長，台灣地區行政機構經濟建設委員會“主任秘書”，台灣地區行政機構經濟建設委員會副“主任委員”，台灣地區行政機構副秘書長，台灣地區行政機構秘書長。現任“台灣地區行政機構政務委員”。