山东,金代以前为地理概念,泛指崤山、华山或太行山以东的黄河流域广大地区。金代大定八年(1168年)置山东东、西路统军司,山东遂成为正式行政区划名称。明代山东布政司(又称行省)管辖6府、104县,大致奠定了今山东省行政区域范围。清代山东基本沿袭明代山东的版图,称山东省。因西周封邦建国时,今山东境内曾存有齐、鲁、曹、滕、卫诸国,周公旦封于鲁,所以现在山东又简称“鲁”。
清末,山东省有济南、东昌、泰安、兖州、沂州、曹州、登州、莱州、青州、武定10府,济宁、临清、胶州3个直隶州,共辖8个散州96个县。中华民国初期,划分为济南、济宁、胶东、东临4道,属县107个。1928年废道,各县直属省。1937年10月,日军侵占山东,国民党省政府流亡。1938年7月,中共苏鲁豫皖边区省委发出关于恢复县、区、乡政权的指示,到年底有12个县成立了抗日民主政府。1939年7月,中共山东分局将山东划分为3个区和2个特区:胶济路南、陇海路北、津浦路东为一区,津浦路西为二区,胶东为三区,湖西、清河为特区。1940年8月,山东省战时工作推行委员会成立,下辖16个专员公署,88个县。
1945年8月,根据山东省出席中国解放区代表会议全体代表联名建议,省临时参议会和省行政委员会第20次联席会议决定,改山东省战时行政委员会为山东省政府,黎玉为省政府主席,下设5个行政公署,共辖21个专署、119个县。1945年8月13日,由7个厅局组成的山东省政府在莒南县大店镇宣告成立。这标志着中国共产党领导建立的第一个省级政权——山东省政府的诞生。1949年3月,山东省政府改称山东省人民政府,下辖14个市(包括济南、青岛、徐州、潍坊4个省辖市)、140个县、2个办事处、2个特区。1950年,将16个专区合并为滕县、临沂、泰安、沂水、德州、惠民、淄博、昌潍、胶州、莱阳、文登11个专区。
1952年,平原省撤销,所属聊城、菏泽、湖西3个专区29个县划归山东。原河北省临清、馆陶、恩城、夏津、武城5个县划归山东。而将山东的东光、吴桥、宁津、庆云、盐山、南皮6个县划归河北;徐州市、新海连市及丰、沛、华山、铜北、赣榆、邳、东海等县划归江苏。
1953年6月,滕县专区更名为济宁专区。7月,撤销湖西专区和沂水专区,将其所属县市分别划归济宁、菏泽和临沂专区。1954年12月,撤销淄博工矿区,设立淄博市。1958年,莱阳专区更名为烟台专区。1960年,撤销峄县,设立枣庄市。1963年,河南省东明县划归山东。1964年,范县划归河南。1965年,馆陶划归河北,河北省的宁津县、庆云县划归山东。1967年,专区更名为地区,全省共辖德州、惠民、昌潍、烟台、临沂、泰安、济宁、菏泽、聊城9个地区,济南、青岛、淄博、枣庄4个省辖市,5个县级市,107个县。1981年5月,昌潍地区更名为潍坊地区。1982年11月,设立省辖东营市。1983年,撤销烟台地区、潍坊地区、济宁地区,设立地专级烟台市、潍坊市、济宁市。1985年,撤销泰安地区,设立地专级泰安市。1987年,威海市升为地专级市。1989年日照市升为地专级市。1992年,惠民地区更名为滨州地区,莱芜市升为地专级市。1994年,撤销临沂地区、德州地区,设立地专级临沂市、德州市。1997年,撤销聊城地区,设立地专级聊城市。2000年,撤销滨州地区、菏泽地区,设立地专级滨州市、菏泽市。至2004年底,全省划分为济南、青岛、淄博、枣庄、东营、烟台、潍坊、济宁、泰安、威海、日照、莱芜、临沂、德州、聊城、滨州、菏泽17个地级市,县级单位140个,乡镇级单位1941个,其中,街道办事处423个,乡295个,镇1223个。