先秦时期，今云浮市境为百越地。秦时大部分地区隶属桂林郡地，部分属南海郡地。

        两汉两晋时期（公元前206—420年）　汉初，市境属南越王国。西汉元鼎六年（公元前111年），设临允县（县治在今新兴县境内），为今市境内最早建立的县级建制。西晋太康元年（280年），设都罗县（今郁南县境内）。东晋永和五年（349年），设晋化县（今郁南县境内）。永和七年（351年），设新宁郡以及新兴、南兴、单牒3县（均在今新兴县境内）。东晋后期（416—420年），设龙乡、夫阮县（今罗定市境内）。

        南北朝时期（420—589年）　市境曾先后设立州、郡、县三级建置。

        南朝宋（420—479年），永初至元嘉年间（420—453年），市境先后设2郡、9县，即晋康、新宁郡，龙乡、夫阮、都城、晋化、安遂、新兴（后改新城）、南兴、临允、单牒县。

        南朝齐（479—502年），市境先后设2郡、12县，即晋康、广熙郡，龙乡、夫阮、罗平、永熙、都城、晋化、威城、安遂、新城、南兴、临允、单牒县。

        南朝梁（502—557年），市境先后设3州、5郡、12县，即泷州、建州、新州，平原、罗阳、广熙、新宁、晋康郡，开阳、龙乡、罗平、永熙、罗阳、都城、晋化、威城、安遂、新兴、南兴、索卢县。

        南朝陈（557—589年），市境郡县设置基本沿袭梁制，但广熙、新宁郡辖县减少。

        隋朝（581—618年）　隋初郡县设置变化较大，至隋大业年间（605—618年），市境设1郡、5县，即永熙郡，泷水、永熙、都城、安遂、新兴县。

        唐至五代（618—960年）　建置时郡时州，交替设立。唐初，撤销永熙郡，设泷州和南建州，重设新州，新设勤州：泷州（州治在今罗定市），唐武德四年（621年）重设，辖泷水（今罗定市）、开阳（今罗定市）、正义（今郁南县，后并入泷水）3县。南建州（州治在今郁南县），唐武德四年（621年）设，辖安遂（今郁南县）、永宁（今罗定市）、永业（今广西壮族自治区岑溪市）和安南4县，贞观八年（634年）改名药州，贞观十八年（644年）撤销。新州（州治在今新兴县），唐武德四年（621年）重设，辖新昌、索卢、单牒（均在今新兴县境内）、永顺（今云城区境内）4县。勤州（州治在今云安区），开元十八年（730年）设，辖富林（今云安区境内）、铜陵（今阳春市东北部）2县。改州为郡和改郡为州：天宝元年（742年），改泷州为开阳郡，新州为新昌郡，勤州为云浮郡。乾元元年（758年），开阳郡复名泷州，新昌郡复名新州，云浮郡撤销。乾元年间，市境内设2州、9县，即泷州、新州，泷水、开阳、建水、镇南、新兴、永顺、富林、晋康、都城县。此后建置延续至北宋开宝五年（972年）。

        北宋至设立地级云浮市前（960—1993年）市境内州（郡）、县设置经历3个阶段。

        北宋开宝五年至明万历五年（972—1577年）：北宋开宝五年（972年），唐代所设州、县，除新州、泷水县、新兴县外，悉数合并或撤销，市境只设1州、2县。其中，新州，下辖新兴1县，元朝至元十六年（1279年）改为新州路，至元十九年（1282年）复名新州，明洪武二年（1369年）撤销；泷水县，自北宋开宝六年（973年）至明万历四年（1576年）长达600多年。

        明万历五年至清末（1577—1911年）：市境只设1州、3县［明万历五年（1577年），升泷水县为罗定直隶州，直隶广东布政使司。州辖本州（今罗定市）、东安县（今云城区、云安区）、西宁县（今郁南县）。新兴县则属肇庆府］。

        民国初至建市前（1912—1993年），1913年春，罗定州改为罗定县，罗定、新兴、东安、西宁4县均直属广东省都督府。1914年1月，西宁县改名郁南县。1914年5月，东安县改名云浮县。罗定、新兴、云浮、郁南4县隶属粤海道。1923年，改隶西江善后督办署。1932年春，转属广东西区绥靖委员公署高要行署。1936年10月，4县划归广东第三行政区督察专员公署统辖。1949年春，新兴县属广东省第十一行政区公署。罗定、郁南、云浮3县属广东省第十二行政区公署。1949年中华人民共和国成立，1951年3月起云浮、罗定、新兴、郁南4县隶属西江专员公署，同年12月起隶属粤中行政公署。1956年1月起隶属高要专员公署。1958年11月，云浮县与新兴县合并称新云县，罗定县与郁南县合并称罗南县，隶属江门专员公署。1959年1月，罗南县改称罗定县，4月，新云县改称新兴县，均隶属江门专区。1961年4月，恢复罗定县、郁南县、云浮县、新兴县建制，先后隶属肇庆专员公署和肇庆地区行政公署、肇庆市（地级）。1992年9月，国务院批准撤销云浮县，设立县级云浮市，由广东省直辖，肇庆市代管。1993年4月，国务院批准撤销罗定县，设立县级罗定市，由广东省直辖，肇庆市代管。

        设立地级云浮市后（1994年后）1994年4月5日，设立地级云浮市，辖云城区、新兴县、郁南县，代管罗定市（县级）。1996年1月，从云城区划出9个镇设立云安县。2014年9月，云安县改设云安区。至2024年底，云浮市辖云城区、云安区、新兴县、郁南县，代管罗定市。