往年の尖ったエピソードが多いだけに、ネットの反応では「若い頃は本物のヤクザだったのではないか」「撮影現場で暴れて炎上したことがあるのでは」といった噂の真相を気にする声も少なくない。だが、これらは彼の迫真の演技と風貌が生み出した完全な都市伝説である。
実際の遠藤は、若い頃から非常に礼儀正しく、役柄とは真逆のナイーブで几帳面な性格として知られている。撮影現場での真摯な姿勢は当時の監督やスタッフからも絶大な信頼を得ていた。炎上という言葉とは無縁の地道な下積みを重ねており、過激に見えたのはあくまで画面の中での演技と演出によるものだ。ネット上で囁かれる「強面伝説」の多くは、彼があまりにも役にハマりすぎていたがゆえの誉め言葉と言えるだろう。