颐和园离市中心的天安门广场约15公里，东边不远是有名的圆明园遗址，西面是玉泉山，再往西北是香山。香山、玉泉山和颐和园的万寿山都是华北燕山山脉的西山余脉。颐和园与圆明园、畅春园、静宜园（香山）和静明园（玉泉山）共誉为清朝著名的“三山五园”。所谓三山，是指香山、玉泉山及万寿山。这三座山上分别建有静宜园、静明园、颐和园，再加上畅春园及圆明园，这就是五园。
万寿山在辽金时期（公元916—1234年）名为金山，山前有条金河；到元明之间（1271—1644年）改名为瓮山，金河已汇集成湖泊，名为西湖。由于这一带山清水秀，辽、金、元、明几朝的皇帝都在这附近建行宫或寺庙，常来游玩。到清代，康熙皇帝先后建了香山行宫、玉泉山行宫（后改名“静明园”）、畅春园和圆明园。到乾隆皇帝时，除扩建圆明园外，又利用瓮山西湖的山水景观，建了清漪园。清漪园便是颐和园的前身。