山东，金代以前为地理概念，泛指崤山、华山或太行山以东的黄河流域广大地区。金代大定八年（1168年）置山东东、西路统军司，山东遂成为正式行政区划名称。明代山东布政司（又称行省）管辖6府、104县，大致奠定了今山东省行政区域范围。清代山东基本沿袭明代山东的版图，称山东省。因西周封邦建国时，今山东境内曾存有齐、鲁、曹、滕、卫诸国，周公旦封于鲁，所以现在山东又简称“鲁”。清末，山东省有济南、东昌、泰安、兖州、沂州、曹州、登州、莱州、青州、武定10府，济宁、临清、胶州3个直隶州，共辖8个散州96个县。中华民国初期，划分为济南、济宁、胶东、东临4道，属县107个。1928年废道，各县直属省。1937年10月，日军侵占山东，国民党省政府流亡。1938年7月，中共苏鲁豫皖边区省委发出关于恢复县、区、乡政权的指示，到年底有12个县成立了抗日民主政府。1939年7月，中共山东分局将山东划分为3个区和2个特区：胶济路南、陇海路北、津浦路东为一区，津浦路西为二区，胶东为三区，湖西、清河为特区。1940年8月，山东省战时工作推行委员会成立，下辖16个专员公署，88个县。1945年8月，根据山东省出席中国解放区代表会议全体代表联名建议，省临时参议会和省行政委员会第20次联席会议决定，改山东省战时行政委员会为山东省政府，黎玉为省政府主席，下设5个行政公署，共辖21个专署、119个县。1945年8月13日，由7个厅局组成的山东省政府在莒南县大店镇宣告成立。这标志着中国共产党领导建立的第一个省级政权——山东省政府的诞生。1949年3月，山东省政府改称山东省人民政府，下辖14个市（包括济南、青岛、徐州、潍坊4个省辖市）、140个县、2个办事处、2个特区。1950年，将16个专区合并为滕县、临沂、泰安、沂水、德州、惠民、淄博、昌潍、胶州、莱阳、文登11个专区。
1952年，平原省撤销，所属聊城、菏泽、湖西3个专区29个县划归山东。原河北省临清、馆陶、恩城、夏津、武城5个县划归山东。而将山东的东光、吴桥、宁津、庆云、盐山、南皮6个县划归河北；徐州市、新海连市及丰、沛、华山、铜北、赣榆、邳、东海等县划归江苏。
1953年6月，滕县专区更名为济宁专区。7月，撤销湖西专区和沂水专区，将其所属县市分别划归济宁、菏泽和临沂专区。1954年12月，撤销淄博工矿区，设立淄博市。1958年，莱阳专区更名为烟台专区。1960年，撤销峄县，设立枣庄市。1963年，河南省东明县划归山东。1964年，范县划归河南。1965年，馆陶划归河北，河北省的宁津县、庆云县划归山东。1967年，专区更名为地区，全省共辖德州、惠民、昌潍、烟台、临沂、泰安、济宁、菏泽、聊城9个地区，济南、青岛、淄博、枣庄4个省辖市，5个县级市，107个县。1981年5月，昌潍地区更名为潍坊地区。1982年11月，设立省辖东营市。1983年，撤销烟台地区、潍坊地区、济宁地区，设立地专级烟台市、潍坊市、济宁市。1985年，撤销泰安地区，设立地专级泰安市。1987年，威海市升为地专级市。1989年日照市升为地专级市。1992年，惠民地区更名为滨州地区，莱芜市升为地专级市。1994年，撤销临沂地区、德州地区，设立地专级临沂市、德州市。1997年，撤销聊城地区，设立地专级聊城市。2000年，撤销滨州地区、菏泽地区，设立地专级滨州市、菏泽市。
至2004年底，全省划分为济南、青岛、淄博、枣庄、东营、烟台、潍坊、济宁、泰安、威海、日照、莱芜、临沂、德州、聊城、滨州、菏泽17个地级市，县级单位140个，乡镇级单位1941个，其中，街道办事处423个，乡295个，镇1223个。
