築城時期の詳細は不明です。天文７年（１５３８年）の尼子氏の播磨侵攻により、一時尼子氏の城となりました。城主は尼子義久とされています。この城を正面から攻めた毛利軍が、天然の要塞を攻めることができず頭を抱えていたところ、尼子山麓の集落に暮らす老婆が抜け道を毛利軍に教えたためにそれが攻略の鍵となり、落城したという言い伝えが残っています。山頂から望む瀬戸内海の景色が最高です。