この太鼓石（たいこいし）は遠照寺（おんしょうじ）の境内にあり、「太鼓石」と呼ばれる筒状の石と、「撥石」と呼ばれる石棒があります。この石に関して源頼朝にまつわる伝説が残っています。『富士の巻狩の際、源頼朝が陣馬の滝の近くに陣を敷いた晚の出来事です。夜中に滝壺から 「ドンドン」と太鼓を叩くような音が聞こえてきました。ひと晩中眠ることができないほど大きな音だったため、不思議に思った頼朝が翌日家来に滝壺を探らせたところ、中が空洞になった石が見つかりました。この石は、近くの遠照寺の境内に祀られ、「太鼓石」と呼ばれるようになりました。のちに詠まれた歌では、〝太鼓石 打たでもなるか 頼朝のみる撫川に うぐいすの声〟とつづられています。
この「太鼓石」の正体は、溶岩樹型といわれるもので、溶岩流にのまれた樹木の形が空洞となって残った石です。かたわらにある「撥石」と併せて陰陽石を祀ったものだと考えられています。陰陽石とは、男女の生殖器に似た形をした石のことです。かつては、子宝祈願や伝染病の予防として、「太鼓石」の穴に女の子をくぐらせる風習があったそう。