築城は天文年間(1532年-
1554年)に大友氏の武将・高橋鑑種と伝えられ、
立花城と共に大友家の筑前支配の拠点であった。しかし、高橋鑑種は主君・大友宗麟の傲慢な振る舞いに
憤り、反旗を翻したために城を逐われ、大友家の宿老吉弘鑑理の二男鎮種が高橋氏の名跡を継いで
「高橋鎮種」と名乗り宝満・岩屋の両城主となった。
天正13年(1585年)、立花城主立花道雪の死去後、長男統虎が道雪の養子として城主となり、
次男の統増が高橋家の本城である宝満城に入城し、一族三人で大友家の筑前での拠点防衛に就く。
天正14年(1586年)7月13日、筑前一帯を平定し、関白秀吉の九州襲来を阻まんとする島津氏が総勢2万にも
及ぶ大軍で攻め寄せ、大宰府政庁跡の東隣にある観世音寺に陣を設けた。
紹運(高橋鎮種の出家後の名)は七百余名と共に篭城。2週間の間頑強に抵抗したものの、
各出城や砦が次々と陥落、虚空蔵砦を守備する福田民部少輔も討死するに及んだ。また、
城主紹運も自ら薙刀を取り敵中に入ったが力尽き、敵陣に矢止めを乞うたのち高櫓の上に登り自害。
残された将兵もあとを追い玉砕、天正14年7月27日落城。
紹運が高櫓の扉に書き残したとされる辞世の歌は、
「屍をば岩屋の苔に埋みてぞ 雲居の空に名をとどむべき」
城跡から道を隔てた南西側に高橋紹運の墓がある。
九州制覇を目指す薩摩島津氏が1586年に岩屋城を攻撃、5万の大軍に囲まれてしまい、篭城した。