隋煬帝年間，高句麗三次擊敗前來征討的隋軍，盛極一時。隋唐更迭的戰亂，蒙古高原的突厥乘機崛起。地緣政治使東北三江流域的靺鞨部落有了新的變化和發展，并以黑水都督府設立為標志，納入了中華版圖。
隋末唐初靺鞨有相互獨立的數十部，有的依附高麗，有的臣服突厥。薛禮征東后，粟末部后來建立了渤海政權，白山、汨咄、安居骨、號室等四部瓦解，并入渤海。黑水流域的部落以三江口為界分為南北兩部分，共有十六部，朝廷掌握的包括黑水、拂涅，又出現了虞婁、越喜、鐵利、思慕、郡利、屈設、莫曳皆等。
一般認為，黑水、越喜、思慕、郡利、屈設、莫曳皆等六部位于遠東地區。拂涅部分布松黑三角洲、穆密平原、牡丹江盆地，以牡丹江、穆棱河為通道。挹婁以虞婁的名號再次出現，分布在松花江右岸完達山系兩側。鐵利源于穢貊族系的“橐離”，一般認為在呼蘭河流域，與寇漫汗（豆莫婁）國為同宗。
武德二年（619年）唐高祖下詔確立了“懷柔遠人，義在羈縻”的邊疆民族政策。經過貞觀之治唐王朝成為世界最強大的帝國，開始經營東北。高宗乾封三年（668年）李勣（徐懋功）攻破平壤。設安東都護府，薛仁貴（薛禮）為都護，下設拂涅州、舍利州、越喜州等都督府。武則天初年，大祚榮趁營州之亂建國，向突厥朝貢。睿宗先天二年713年，朝廷冊拜祚榮為左驍衛員外大將軍、渤海郡王，加授忽汗州都督。
渤海武王大武藝襲位后極力開疆擴土，為了防止渤海在東北一家獨大，玄宗采取了反制措施。開元十年723年，拜黑水靺鞨酋長倪屬利稽為勃利州刺史。開元十三年，又改由黑水靺鞨所謂最大部落為黑水府，其首領為都督，由幽州都督管轄。至此，設在黑水流域諸都督府廢止，代以黑水州都督府為核心，聯合松嫩流域、三江流域及遠東地區靺鞨部落，構成龐大的反渤海軍事聯盟，區別于靺鞨黑水部的黑水靺鞨正式形成。黑水首次置于中原王朝的直接管轄之下。開元十六年，賜黑水都督姓名李獻誠，授云麾將軍兼黑水經略使。
黑水州都督府治所一般認為在伯力。但因與勃利州地望重疊而遭到質疑。有研究認為，伯力說是基于靺鞨黑水部的推演，但黑水州都督府是黑水靺鞨的最高管理機構，應該在整個黑水靺鞨分布區尋求。從考古學的角度，鶴崗區域內黑水靺鞨遺存最多、最密集，文化信息一致，應是黑水靺鞨中最大部落的居地。其中蘿北縣延軍農場5 隊東南八里的黑龍江江岸古城遺址面積最大，應為黑水都督府的治所。這個觀點比伯力說更可信。