黑龙江省有着悠久的历史。先秦时代肃慎、东胡、秽貊三大族系的部分先民，就已定居在黑龙江地区。

公元前4世纪至公元前3世纪，就有夫余政权建立，地跨今黑龙江省南部。

秦以后，在黑龙江地区生息活动的先后有挹娄人、夫余人、鲜卑人、勿吉人和靺鞨人等。

698年，粟末靺鞨首领大祚荣建立渤海国，最盛时辖5京15府62州，地跨今黑龙江东部和南部。定都上京（今宁安）。唐代设忽汗州、渤海都督府、黑水都督府（黑水靺鞨）、室韦都督府（黑龙江西部）。

辽时归东京道管辖。

1115年，金太祖完颜阿骨打定都会宁府（今阿城），直至海陵王贞元元年（1153）。金时属上京道管辖，下辖三路，即恤品路、胡里改路、蒲峪路；在两个地区设泰州和肇州。

元设开元路、水达达路，隶属辽阳行省。

明设奴儿干都司。

清设黑龙江将军和吉林将军，管辖黑龙江地区。

1652年，清廷派梅勒章京率兵驻守宁古塔（今海林、宁安境内）地方，翌年升为昂邦章京。东北地区被划分为两大军事驻防区域。

1671年，清朝沿黑龙江岸筑城，名黑龙江城，清朝后期后改为黑龙江省。

1683年12月，清廷决定，划出宁古塔将军（吉林将军）所辖之西北地区，增设镇守黑龙江等处地方将军，简称黑龙江将军，管辖黑龙江将军辖区。

1691年建齐齐哈尔城，1699年黑龙江衙门由墨尔根迁到齐齐哈尔，从此，齐齐哈尔成为黑龙江的首府，是黑龙江近300年来的政治、经济、文化、军事中心。形成盛京、吉林、黑龙江三将军共同守卫东北。这是黑龙江成一个军事、行政区域并以“黑龙江”命名的开端。

1858年和1860年，沙俄通过不平等的《中俄瑷珲和约》和《中俄北京条约》，强行割占了黑龙江以北，乌苏里江以东100多万平方公里的土地，使黑龙江省和吉林省的行政区域大为缩小。

1862年（同治元年）开始，黑龙江将军辖区内取消副都统，相继设立道、府、厅、州、县等地方行政建置。

1900年，江东六十四屯被沙皇俄罗斯武力占领。

1907年（光绪三十三年）4月，清廷对东北地区行政体制进行改革，从本来设置的将军改设巡抚，为一省之长。实行省、府、县三级体制。在省之下、府之上设立道以为监察区域。

1912年中华民国成立后，黑龙江省沿袭清代省、道、县三级体制，共辖龙江、绥兰、黑河3道，省会齐齐哈尔。后增设呼伦道，共为4道，21县，6设治局。当时为吉林省所辖而今在黑龙江省境内的有滨江、依兰2道，18县。

1917年俄国十月革命后，中国政府逐步收回中东路“附属地”的行政主权。

1920年将该区域定为“东省特别区”。

1922年东北当局设立东省特别区行政长官，以统一监督节制该区域内的军警、外交、司法各机关。

1924年5月，北京政府批准东省特别区独立于黑龙江、吉林两省区域之外，成为与省并列的特别行政区。

1930年黑龙江省辖42县，11设治局。当时隶属于吉林省今属黑龙江省的有22县。

东北沦陷时期，日伪政权实行省、县（市）二级体制。从1934年开始对东北地区实行“分而治之”的政策，省的数量增多，区域划小。伪满洲国覆亡前夕，东北地区划分为15省1特别市，其中在今黑龙江省内设有龙江、滨江、三江、黑河、北安、东安6省，下辖哈尔滨、齐齐哈尔、牡丹江、佳木斯、东安5市，74县，3旗。

自1945年11月至1946年5月，在黑龙江省境内先后成立了5省1直辖市民主政府，即黑龙江、嫩江、合江、绥宁、松江5个省政府和哈尔滨市政府。

1946年8月，东北各省市行政联合办事处在哈尔滨成立，是东北地区最高行政机关，哈尔滨在东北所处的位置称之为北满。后改称东北行政委员会。在东北行政委员会领导下，实行省（特别市）、县（市）二级行政制度。

1946年10月，绥宁省改设为牡丹江专区，直属于东北行政委员会。同年11月，哈尔滨市改称特别市。

1947年2月至9月，黑龙江、嫩江2省曾合并为黑龙江嫩江联合省，简称黑嫩省，省会齐齐哈尔。同年8月，牡丹江专区撤销，设立牡丹江省，1947年7月该省撤销，所辖区域分别并入合江、松江2省。

1949年5月，嫩江省与黑龙江省合并成立新的黑龙江省，省会齐齐哈尔。合江省与松江省合并成立新的松江省，省会哈尔滨。同时，将哈尔滨市改为松江省辖市。黑龙江、松江两省共辖5市（哈尔滨市、齐齐哈尔、佳木斯、牡丹江、兴山），71县，2矿区（鸡西、双鸭山），2旗。解放战争时期，在黑龙江省境内曾设立专区一级的行政区域，除黑河专区外，存在时间均不长。

1949年中华人民共和国成立后，实行省、市（地）、县3级体制。黑龙江地区在中华人民共和国建国之初仍设松江、黑龙江两省，所辖市（地）、县（旗）不变。

1950年10月，黑龙江省省会齐齐哈尔市设立了市辖区行政建置。松江省省会哈尔滨市也开始设立相当于县一级的市辖区，两省共有14个市辖区。

1953年8月，哈尔滨市改为中央直辖市，由东北行政委员会代管。

1954年8月，松江省建制撤销与黑龙江省合并为新的黑龙江省，省会由齐齐哈尔市迁往哈尔滨市，哈尔滨市改为黑龙江省省辖市，为黑龙江省省会。同时，将原黑龙江省所辖白城地区的7县划归吉林省管辖。此后，黑龙江省的行政区域再没有大的变化。合省后的黑龙江省辖98个县级以上行政建置单位，其中哈尔滨、齐齐哈尔、牡丹江市、佳木斯、鹤岗5市，黑河、嫩江、合江3专区，66县、旗，2个兼有行政职能的县级矿区（鸡西、双鸭山），22个市辖区。

2015年，经国务院批准，民政部（民函[2015]361号）批复同意撤销东宁县，设立县级东宁市，以原东宁县的行政区域为东宁市的行政区域，东宁市人民政府驻东宁镇通政路1号。东宁市由黑龙江省直辖，牡丹江市代管。