「葛城」という地名の根底には、5世紀前後のヤマト政権において絶大な権勢を誇った古代豪族・葛城氏の存在があります。葛城襲津彦(そつのひこ)をはじめとする葛城一族は、朝鮮半島との外交や先進技術の導入を主導し、大王家(天皇家)と幾代にもわたり婚姻関係を結びました。金剛・葛城山脈の東麓、現在の奈良県西南部一帯は、彼らが強大な軍事力・経済力を蓄えた本拠地でした。
大和国葛城郡の歴史を遡ると、古代の行政区分が整う律令体制以前から、この地域一帯が「葛城の地」として認識されていたことが『日本書紀』や『古事記』の記述から確認できます。しかし、律令制が確立していく7世紀末から8世紀初頭にかけて、広大かつ重要拠点であった葛城の地は統治上の理由から分割されることになります。
この時期に設置されたのが、葛上郡(かつじょうぐん)、葛下郡(かつげぐん)、そしてその間に位置する忍海郡(おしみぐん)です。つまり、古代の行政区画としての「葛城郡」は、奈良時代を迎える前後の段階で早くも3つの郡に分かれており、「葛城郡」という単一の郡名自体は中世・近世を通じて公的な郡名としては使われていませんでした。