米沢市南西部、大樽川（鬼面川）と小樽川の合流地点に位置する丘陵上に築かれた山城です。一説には伊達家統治時代の「米沢城」ともいわれていますが、通説では伊達政宗の父・輝宗が、政宗に家督を譲ったのち、この舘山城に隠居したといわれています。

天然の要害となっているため、戦時にはこの城に拠って戦う計画であったらしく、麓には伊達家臣団の屋敷町が取り巻いていました。
平時は、政務を執るのに便利な平城の米沢城、戦時は、守りやすい山城の舘山城というように役割が分かれていたようです。

上杉氏の時代となると、舘山城は使用されませんでしたが、麓の屋敷町はそのまま上杉家臣団の屋敷町となりました。

山の中腹に見えるのは、東北電力舘山発電所です。