自元代开始,“省”成为地方最高行政建制。元代正式设立“河南江北等处行中书省”,管辖范围包括如今河南省黄河以南部分、湖北省长江以北部分地区,以及苏北、皖北部分地区。而如今的豫北、豫东地区,由中书省直接管辖。
而在明代,正式称河南行省,管辖范围与现在的河南省大体范围相当,成为一个跨越黄河南北的省。清代、中华民国时期,河南省域变化不大,大体沿袭了明代河南省的范围。
河南省域的形成是一个历史过程,并不是一成不变的。
河南省域北部区域的形成,是在明朝洪武时期。1368年,明朝将元朝中书省直辖的今豫北地区,以及今河北省的部分地区划属河南行省。第二年,明朝在这一区域新设置北平行省,其中怀庆府、卫辉府、彰德府等保留在河南行省。同年又将今属河北省的磁州、涉县改属河南。这样,河南省域的北部地区基本形成。清朝雍正时期,磁州改属直隶省,而原来下辖的武安、涉县、临漳3个县仍属河南管辖。1949年8月,河北省人民政府成立,3个县归其管辖,脱离河南省。
河南省域东部、南部区域的形成也是在明朝洪武时期。1371年,朱元璋将临濠府建为中都,将当时河南行省管辖的今苏北、皖北部分地区及豫南地区划归其管辖。1374年,信阳州、息县又归河南。1380年,光州复归河南。至此,河南省域东部、南部区域形成。土地革命时期,为了扑灭鄂豫皖苏区的革命火种,南京国民政府在这一区域新设立了经扶、礼山、立煌三县。经扶县包括当时光山县和湖北麻城、黄安两个县的各一部分,1947年改名新县。礼山县包括当时罗山县的南部地区,1952年更名为大悟县,属湖北省。立煌县包括商城、固始的一部分,1947年改称金寨县,属安徽省。
河南省域西部区域是指今天的南阳市和三门峡市。这一区域在金代已大体形成,后被元、明、清三朝承袭。
河南省域的东北部区域是指今天的濮阳市,其归属河南省是现代的事。1949年8月,平原省成立,濮阳专区归其管辖。1952年,平原省撤销,濮阳专区归属河南省。1964年,原属山东省的范县划归河南省。1978年,从范县析置台前县。同一时期,东明县由河南省划归山东省。