सुग्रीव अपने भाई बाली से डरकर जिस कंदरा में रहता था, उसे सुग्रीव गुफा के नाम से जाना जाता है। यह ऋष्यमूक पर्वत पर स्थित थी। ऐसी मान्यता है कि दक्षिण भारत में प्राचीन विजयनगर साम्राज्य के विरुपाक्ष मंदिर से कुछ ही दूर पर स्थित एक पर्वत को ऋष्यमूक कहा जाता था और यही रामायण काल का ऋष्यमूक है। मंदिर के निकट सूर्य और सुग्रीव आदि की मूर्तियां स्थापित हैं। रामायण की एक कहानी के अनुसार वानरराज बाली ने दुंदुभि नामक राक्षस को मारकर उसका शरीर एक योजन दूर फेंक दिया था। हवा में उड़ते हुए दुंदुभि के रक्त की कुछ बूंदें मातंग ऋषि के आश्रम में गिर गईं। ऋषि ने अपने तपोबल से जान लिया कि यह करतूत किसकी है। क्रुद्ध ऋषि ने बाली को शाप दिया कि यदि वह कभी भी ऋष्यमूक पर्वत के एक योजन क्षेत्र में आएगा तो उसकी मृत्यु हो जाएगी। यह बात उसके छोटे भाई सुग्रीव को ज्ञात थी और इसी कारण से जब बाली ने उसे प्रताड़ित कर अपने राज्य से निष्कासित किया तो वह इसी पर्वत पर एक कंदरा में अपने मंत्रियों समेत रहने लगा। यहीं उसकी राम और लक्ष्मण से भेंट हुई और बाद में राम ने बाली का वध किया और सुग्रीव को किष्किंधा का राज्य मिला।