山田隆夫氏の家族史を語る上で欠かせないのが、最初の結婚と離婚、そして4人の子どもたちとの関係性です。山田氏は若手時代に最初の結婚を経験し、2人の娘をもうけましたが、後に協議離婚を選択しています。
離婚に至った主な要因として、当時の報道や本人の回顧録などでは「若年期における多忙による生活のすれ違い」と「芸能活動に伴うプレッシャー」が挙げられています。人気絶頂期にあった山田氏は全国を飛び回る多忙な日々を送っており、家庭内で十分な対話の時間を確保することが困難でした。互いの価値観の相違が浮き彫りになる中で、双方が納得した上での前向きな別居・離婚という決断に至ったとされています。
その後、再婚した恵子さんとの間にさらに息子と娘が誕生し、山田氏は通算で4人の父親となりました。前妻との子どもたちに対しても養育責任を全うし、現在ではそれぞれが独立して社会人としての生活を築いています。家族の構成と歩みをまとめると下表の通りです。