เดิมชื่อถ้ำเขาหยั่ง อยู่ในเทือกเขาเขตตำบลลำเลียง ห่างจากที่ว่าการอำเภอกระบุรี 18 กิโลเมตร โดยมีทางแยกซ้ายจากถนนเพชรเกษม (ระนอง-ชุมพร) ที่ กิโลเมตร 563-564 เข้าไป 1 กิโลเมตร ถ้ำพระขยางค์เป็นถ้ำขนาดเล็ก มีตำนานเก่าแก่ที่เกี่ยวกับการสร้างเมืองกระบุรี จากปากถ้ำเข้าไปประมาณ 40 เมตร มีบันไดขึ้นสู่ด้านบน สามารถทะลุออกภายนอกซึ่งเป็นบริเวณที่เชื่อกันว่า มีการนำเอาสมุนไพรที่หายากมาปลูกไว้ การเที่ยวชมควรเตรียมเทียนไข หรือไฟฉายพกติดตัวไปด้วย บรรยากาศภายในถ้ำค่อนข้างอับชื้น ส่วนหนึ่งอาจมีผลมาจากมูลของค้างคาว ที่มีอยู่เป็นจำนวนมาก นอกจากนั้นในช่วงเทศกาลตรุษจีนของทุกปีจะมีการจัดเทศกาลงานปิดทองพระบริเวณถ้ำพระขยางค์ เป็นเวลา 3-7 วัน เพื่อเปิดโอกาสให้ประชาชนเข้าสักการะสิ่งศักดิ์สิทธิ์ และเข้าชมความสวยงามของถ้ำตลอดจนสมุนไพรต่างๆ ที่อยู่บนเขา