Em 1932 ele veio ao encontro do grande mestre de Kriya Swami Shriyukteshwar Giri em seu ashram de Serampore, Bengala Ocidental. Satisfeito com as propensões divinas do jovem Robinarayan, Shriyukteshwarji iniciou-o em Kriya Yoga, ensinou-o astrologia cósmica e pediu a ele que viesse morar em seu Karar Ashram, em Puri, Orissa. Devido às obrigações profissionais e familiares, Robi não foi capaz de cumprir o desejo de seu mestre até seis anos depois.

Quando Paramahamsa Yogananda retornou à Índia dos EUA em 1935, Robi foi abençoado ao testemunhar Yogananda em estado de samadhi.
Sob o conselho de Shriyukteshwarji, ele foi iniciado na segunda kriya por Yoganandaji.

Em 1938 ele renunciou ao mundo e entrou para o Karar Ashram de seu mestre, em Puri, Orissa, começando a vida de um asceta como Brahmachari Robinarayan.

Pelo tempo que esteve em Puri, ele teve o grande privilégio de conhecer e receber as bênçãos de muitos mestres divinos, tais como a Sri Anandamoyee Ma.
A Mãe Sagrada, que também tinha um ashran em Puri, costumava chamá-lo afetuosamente de seu "Sahib Baba" já que o havia conhecido antes dele ser monge, quando ele ainda se vestia com roupas ocidentais da moda.

Ele também passou um tempo com Nanga Baba Digambara Paramahamsa; o grande mestre realizado "vestido apenas de céu" (digambara) que vivia no final de Puri perto do Templo Lokenath. Este misterioso santo é também identificado como Totapuri, o guru de Ramakrishna, e é dito que ele viveu mais de 350 anos.

Ele recebeu a terceira iniciação de Kriya de Swami Satyananda Giri em 1941, que até então era o atual líder do Karar Ashram e era um amigo de infância de Paramahamsa Yogananda.

Entre 1943-1945, ele recebeu as ultimas tres iniciações em Kriya de Shrimat Bhupendranath Sanyal, o famoso chefe de família discípulo de Lahiri Mahasaya.

Alguns meses depois, em 1949, estando ainda em reclusão no seu aposento monástico, ele obteve duas vezes a visão do incorruptível yogi Babaji Maharaj, que o abençoou e profetizou que sua missão seria espalhar a mensagem original dos mestres de Kriya ao mundo todo.

Em sua cela monástica, a maioria das noites presenciou ele meditando diante de sua deidade – Mãe Kali, uma forma da Divina Mãe sem forma.

Em 27 de Setembro, 1958, a Divina Mãe apareceu perante ele e o abençoou com Sua divina refulgência, confirmando sua divina missão para o sucesso espiritual do mundo.

Em 27 de maio de 1959, ele fez o voto de sannyas (iniciação monástica) através de Swami Bharati Tirtha, o Shankaracharya of Puri (uma benção rara!) e recebeu o nome de Swami Hariharananda Giri. Swami Bharati Tirtha foi um autor prolífico em Matemática Védica e segurou o cargo de Shankaracharya (o Pontífice) da Matemática de Govardhan, Puri de 1925 a 1960.