11世紀の初めの頃まで、この地域は伯可荘として石清水八万宮の荘園になっていました。この地には有名な名馬の伝説があります。『その昔、芳賀七郎という武士がおりました。彼は素晴らしい馬を飼っておりましたが、ある時そのことが都にまで聞こえ、その名馬を献上せよとの命令が届きました。七郎は名馬を惜しんでそれに従わなかったので、合戦になりました。彼は｢馬隠しの穴｣に馬を隠して戦いましたが、とうとう力尽きて戦死してしまいました…』伝説の芳賀氏は、伯可荘の有力者であったと思われ、ここに初めて城を築いたのも、この一族であったものと推測されます。
※暗くなると足元が危ないので、見学は明るいうちが好ましいです。