Selain itu, Anwar Falah juga mengutip cerita rakyat dari Dinas Sejarah dan Nilai Tradisional (1980/1981) yang berkembang tentang Sunyaragi. Dalam cerita rakyat tersebut diceritakan bahwa bangunan Sunyaragi dibangun oleh orang-orang Tionghoa dalam satu hari. Pendirian bangunan tersebut atas perintah Sultan Cirebon. Sesudah bangunan selesai, orang-orang Tionghoa tersebut bermaksud menguasai Sunyaragi dan tidak mau menyerahkannya kepada Sultan Cirebon.
Memasuki gua
Perjalanan mulai diarahkan ke bagian gunungan-gunungan taman sari. Rumput-rumput menghijau dan pohon yang tumbuh rimbun sedikit menyegarkan suasana. Di depan mata, kolam air besar tampak kering. Mulyana mengatakan bahwa dahulu kolam-kolam di sini berisi air karena Sunyaragi merupakan kawasan hutan. Namun saat ini, kolam ini hanya dapat terisi ketika musim hujan di mana airnya dapat tertampung. Di sisi lain kolam, pintu-pintu goa dari juga berbahan batu karang mulai terlihat.
Saya mulai memasuki salah satu goa yang bernama Goa Pengawal. Menurut Mulyana, di dalam Goa Pengawal tempat berkumpulnya pengawal yang beristirahat. Bangunan goa ini bersatu dengan gunungan buatan yang berbentuk bukit.Ketika mulai memasuki bangunan goa, kepala harus dipaksa untuk merunduk karena rendahnya muka pintu. Jika tidak merunduk, kepala akan terantuk bangunan goa. Di bagian dalam goa, interior goa terdapat jendela dan juga sebuah saluran kecil yang berfungsi untuk mencuci kaki para prajurit.