濟寧市位於山東省西南部，地處黃淮海平原與魯中南山地的交接地帶。整個地勢東高西低，西部平原坦蕩，南部湖光秀麗，東部山丘起伏。東部有兩條大河，一條叫泗水(泗河)，一條叫汶水(大汶河)，這兩條河是構成這一地區的主要地理要素。
沿泰沂山腳有一條南北斷裂帶，因地殼在這一線有過大的沉降而形成低窪地帶。在距今大約11000年左右，由於地球進入冰後期，氣候變暖，海水上升，濟寧西部地區及整個華北平原大都淹沒在汪洋大海中。
直到距今大約7500年前海水纔開始退去，顯露出的大片平原中間形成一個大湖﹐古稱大野澤(又稱鉅野澤)。大野澤東至今嘉祥城附近，北到南旺、梁山、鄆城一帶，南邊即鉅野縣，“方圓幾百裏”。
那時，西部的許多河流都流入大野澤，其中有一條比較大的河，古名叫濟水。濟水發源於開封、商丘一帶，大體沿今黃河南岸流經定陶、菏澤向北注入大野澤，在梁山附近出澤之後流經古須城，折向東北經東阿、濟南在利津入海。
汶水發源於泰萊山區，流經泰安、東平，在梁山東北與古濟水會合，隨濟水東流入海。泗水在兗州會小沂河之後，東南流經魯橋、南陽、魚臺轉而南下，經湖陵城、沛縣東、留城、徐州再南至淮陰與準河會合向東入海。
這兩條河在有史記載的幾千年間，流向都非常穩定，水源充足，使得我們的祖先在很早以前就得以從事水上活動。司馬遷的《史記·禹貢》中就有“浮於濟漯達於河”(船從古濟水到北面的漯水再到黃河)、“浮於淮泗達於河”、“浮於汶泗達於河”的記載，也就是說在禹貢年代，這裏已是河河相通的航運水網了。
春秋時著名的吳王夫差開邘溝(即溝通長江和淮河的江淮運河)，應魯國之約率10萬大軍乘船從邘溝在淮陰入古泗水運道，一路北上，在萊蕪艾陵將齊國打敗。吳王有了這次經歷，第二年就開菏水(即從魚臺至定陶間運河)，再次率大軍經古泗水到魚臺之後，沿菏水到定陶，轉入古濟水上段在今商丘西南的“黃池”與晉國爭奪中原霸主地位。
秦漢年代政治中心西移，以上河流都成爲向關中進貢的重要水道。隋唐時期，隋煬帝開通濟渠，將南北運河移至開封一線，濟寧被甩在一邊處於次要地位。
這期間，由於黃河決溢，西部地區的地貌已發生變化，自漢武帝元光三年(公元前132年)黃河在瓠子(今河南濮陽西南)決口，將菏澤一帶的地面普遍淤高，大野澤也淤塞大半，原有水系完全被淤塞打亂。
