『黄昏の銀座』の骨格を築いたのは、「ムード歌謡の父」と称される中川博之の作曲です。『さそり座の女』や『ラブユー東京』など数々の昭和歌謡のヒット曲を世に送り出した中川氏は、哀愁漂うマイナー調のメロディに、洋楽的な洒脱なリズムを融合させる天才的な手腕を持っていました。
本作の誕生秘話において特筆すべきは、前作の成功に甘んじることなく「より大人の鑑賞に堪えうる都会派バラード」を目指した点です。中川氏は森聖二の声質が持つ繊細な倍音を最大限に活かすため、跳躍するメロディラインと息遣いを感じさせる休符の配置を緻密に計算しました。
レコーディングスタジオでは、コーラスのハーモニーとギターのオブリガート(助奏)の音色ひとつに至るまで妥協のない推敲が重ねられました。その結果、1968年の発売年とともに瞬く間に全国の有線放送やダンスホール、スナックへと浸透し、ロス・プリモスの不動の代表曲となったのです。