شاید اگر از دور به دیوارههای این غار نگاه کنید تصور کنید که ساختهی دست انسان است، اما در حقیقت شیارهای ایجاد شده حاصل سیلابی است که هزاران سال پیش در این منطقه اتفاق افتاد. «غار خربس» بهدلیل موقعیت خاص خود در زمان مادها مورد توجه قرار گرفت. دالانهای این غار کمکم به پناهگاه و قلعهای برای حفاظت از منطقه تبدیل شد. در دیوارههای داخلی این غار کندهکاریهایی وجود دارد که به همان دوران مربوط است. در نقاط بالایی این غار حفرههایی ایجاد شده که از آنها برای دیدهبانی استفاده میکردند.