飛騨高山の宮大工の家に生まれ、少年時代に地元の仏師（ぶっし）に弟子入りし一刀彫りの技術を身につけたが、その伝統的な手わざに縛られ表現の可能性が狭まることをおそれ、立体作品の純粋な表現方法に移行した。『人間と物質展』（1970年）に触発され、原初的な物質、地・水・火・風 のイメージの虚構性や幻想性に目を向けたという。1970年代より焼成した木、水、土、金属などを用い、『円環』、『空洞性』等を造形の核とし作品を発表。物質感を前面に押し出そうとしながらも、遠藤の問題意識は物質の背後にある身体感覚や物語性を追求する方向へと向っている。原美術館や欧米の美術館を巡回した『プライマル・スピリット展』などでもの派に続く世代と位置づけられた時代もあったが、もの派・ポストもの派の枠を超えて人間の生と死、芸術の根源を問う作品を発表している。