אחד מחלומותיו הגדולים של רפאל היה לגבש גרעין התיישבותי מיוחד מבני צפת. הדם החם של יהודי צפת ש-80 שנה קודם לכן הוביל אותם לניסיון ההתיישבות הכושל הראשון של יהודים בארץ ישראל בגיא-אוני, הלוא היא ראש פינה של ימינו, זרם בעורקיו של רפאל בעוז.
ישראל שני, ידידו:
על הנוער העובד והלומד הטילו משימה: לארגן קבוצה שתצא להכשרה. אז המושג "לצאת להכשרה" היה לגבש גרעין ולצאת לקיבוץ כגרעין שמאוחר יותר אמור לייסד בעצמו יישוב חדש. רפאל היה מאוד פעיל בעניין הזה, אבל אמר: "אני צריך לקבל אישור מהבית". תמיד היה לו כבוד מיוחד לבית ולהורים, אף שתמיד ידעתי שכל מה שהוא עשה הוא עשה בכוח רצונו ויוזמתו, ועניין האישור מהבית היה רק עניין פורמלי.
חלום ההתיישבות קיבל אופי מעשי כשיחד עם אברהם הרוש, ידידו מהתנועה, ניסה להקים גרעין מצומצם של חברים שיהוו את הבסיס לגרעין התיישבות צפתי. את הניסיון הזה ליוו השניים בתיעוד יומן משותף שנקרא "יומן החמישייה", שאת עטיפתו אייר רפאל בקפדנות במו ידיו.
אברהם הרוש, ידידו:
יש לי שני דברים שהם יקרים לי מפז. אחד מהם זה היומן, יומן החמישייה. יומן זה ליווה את הרצון שלנו לעלות להתיישבות, לארגן קבוצה מבין 80 חברי הנוער העובד ולעלות להתיישבות בהרי הגליל. אנחנו חשבנו שאם הרעיון וההתארגנות שלנו ייוודעו לכול, הם ייכשלו, לכן ארגנו, אני ורפאל, חמישה אנשים שרק הם יהיו בסוד העניינים. ב-1 במאי 1941 אני כותב ביומן:
"אברהם נפגש עם רפאל לשיחה ראשונה, הייתה זו שיחת גישוש בה הועלו הבעיות של הסניף ושלנו כנוער העובד בצפת, והובא רעיון של הגשמה. דיברנו על דרכי הסודיות בהן נטפל בארגון החברים... זו הייתה פגישה ראשונה"
17 במאי – "רפאל ואברהם נפגשים במעיין מחוץ לצפת, דובר על דרכי הארגון ועל צירוף חיים גייגר למסגרת. לאחר שיחה מוקדמת סודית בה דיבר רפאל עם חיים, הוא מישש את הדופק ומצא עניין. אז נעשינו שלישייה".
באופן הזה הלך הרעיון והתפתח. היו עוד שתי בנות: שרה פינקלשטיין, אחותו של מנחם פינקלשטיין מצפת, ואמה שחרור, אחת מבנות משפחת שחרור בצפת. היינו נפגשים אצלי בבית והייתי מדריך אותם בנשק קל. זה היה במאי 1941, בחודשים עד שהתגייסתי. רפאל הכיר את יומן החמישייה על בוריו, כל אות וכל פסיק שבו. המכתבים שמופיעים במחברת זו הם העתק בכתב ידי של המקור שנשאר אצל רפאל.
היו הרבה ישיבות והרבה קשיים לצאת להתיישבות: בעיה של הורים שלא מסכימים, בעיה של פרנסה, וילדים היו צריכים לעזור אז בפרנסת המשפחה, ובעיות נוספות. בסופו של דבר העניין נגנז וכל אחד הלך לדרכו. אחרי תקופה די ארוכה, בנובמבר 1943, בעת שרפאל ואני שירתנו כנוטרים בבית אלפא, רצינו לחדש את רעיון ההתיישבות. ב-15 בינואר 1944 החלטנו לכנס את כל בני הנוער שהיו בקבוצות שלנו לפגישה של שלושה ימים בחול המועד פסח. הוצאנו מכתבים לכל החברים, ורפאל ואני היינו המטה שפעל מחפציבה – בית אלפא. בלבנו הייתה תקווה שנוכל לחדש את רעיון החמישייה, רעיון ההתיישבות. התחלנו לפעול שוב בעניין, כתבנו למזכירות הנוער העובד, ארגנו כנס בצפת, והכל נכתב ביומן: מה היה בכנס, תוכנית הפעולות, איזה קטעים קראו, הכול שם.
לאחר הכנס בפסח היה רפאל אופטימי ובטח בסיכוי ההגשמה. במכתב אישי שכתב לחברו ישראל ב-21 לאפריל 1944 כותב רפאל:
ישראל
שלום רב!
חבל מאוד שלא יכולנו להיפגש... אני מתאר לעצמי שכבר סיפרו לך את אשר היה בפגישה. אולם מה היה אחריה?
כמובן שמוכרח היה להיעשות משהו, והנה באמצע החג, התאספנו מספר חברים, כעשרה, ודנו על כל השאלות. וזה היה גם היסוד לגרעין ההכשרה. כמובן שזה עוד בגדר סוד וידוע רק לחברים עצמם. אני תקווה שבמשך הזמן יצטרפו עוד חברים, ובעוד מספר חודשים, בסוף שנת הלימודים, נצא להכשרה...
נקווה שהפעם יצא משהו, מוכרח לצאת כי זה הפתרון היחידי ובדרך האחת. הבעיות העיקריות שעומדות בפני הגרעין הן: שאלת רשות ההורים לעזיבת הבית, העזרה להורים ושחרור החברים המגויסים. כמובן שלא בקלות בעיות אלה תיפתרנה. מספר החברים המוכנים רב, ובטוחני שנצליח.
שלך
רפאל
אלא שכגודל הציפייה כן היה גודל האכזבה, החברים לא שיתפו פעולה וכפי שעולה מן המכתבים שנשתמרו אצל אברהם וישראל, האש בערה בהם עד אמצע 1944, ולאחר מכן הלך איש איש לדרכו.