אל הקהילה היהודית הוותיקה של צפון אפריקה הגיעו בסוף המאה ה-15 מגורשי ספרד ופורטוגל, וביניהם כנראה גם אבות משפחת אדרעי.
רוב גולי 1492 הגיעו מממלכת אנדלוסיה – הממלכה המוסלמית האחרונה בדרום ספרד. נחיתתם בחופי צפון אפריקה הייתה טראומתית. אף שיצאו מביתם עם חלק נכבד מרכושם, מלבד הזהב והכסף, רוב רובו הוחרם על ידי שליטי הנמלים הפורטוגזים, והמעט שנותר נשדד כאשר פנו אל פנים הארץ. "ויתעללו בם וייקחו את כל אשר להם והניחום עירומים – גברים, נשים וילדים, ועשו בהם שפטים... ומהם שמתו בצמא, ומהם אכלו האריות, ושארית הפליטה באה לפאס". כך מתאר אברהם אדורטיל ב"ספר הקבלה" את מסעם של הפליטים. ואם לא די בכך, בצורת, מגפת דבר שפרצה במחנות הפליטים ושרפת ענק שכילתה את מחנה האוהלים שהקים בעבורם סולטן מרוקו, מוחמד אל שייח', גרמו למותם של כ-20 אלף פליטים רק באזור פאס.
הקהילה היהודית המקומית קיבלה בברכה את פני הגולים. הייתה זו קהילה מדולדלת וחלשה. יהודי פאס, למשל, סבלו מפרעות קשות מספר שנים לפני גירוש ספרד ומנטישה של רבים מחכמי הקהילה, לפיכך בואם של הגולים, שרבים מהם היו בעלי השכלה, ממון וכושר מנהיגות, היווה חיזוק משמעותי. שנות הקליטה הראשונות היו קשות ביותר. התושבים המוסלמים תיעבו את הגולים שבאו זה מקרוב. בזיכרונותיו מתאר החוקר-נוסע מארמול את חיי היהודים במלאח, הלוא הוא הגטו היהודי בעיר פאס:
"כאילו חיו בעיר נפרדת. חיים בצפיפות ובכל בית ארבע או חמש משפחות, מרביתם גורשו על ידי המלכים הנוצרים מספרד ופורטוגל. אומה זו מעונה מאוד בצפון אפריקה. יורקים על פניהם ברחובות. מכים אותם. לא מרשים להם לנעול נעליים, אלא רק סנדלי גומא. הם מחויבים לחבוש מצנפת שחורה, ועליה או על הכובע או על הבגדים צריכים לשים טלאי כדי להיבדל מהאחרים". אף על פי כן המשיך זרם הגולים להגיע גם במאה ה-16.
בניגוד לארצות אחרות בהן השתקעו, התערו בצפון אפריקה הגולים באוכלוסייה המקומית, ואט אט הפכו למנהיגי הקהילה. גם שמם של בני שבט האדרעים לא נפקד, ובניה השתלבו בהנהגה הרוחנית: הרב שלום אדרעי, חבר בית הדין הרבני של פאס בסוף המאה ה-16 וראשית המאה ה-17; אחיו, הרב יהודה אדרעי, שהיה רבה של פאס באותה התקופה; הרב משה בן חוליף אדרעי, שכיהן כרבה של הקהילה היהודית בעיירה דבדו, ואחרים. הגולים ראו עצמם כ"ספרדים-אנדלוסים" והיו בטוחים במוצאם משבטי יהודה ובנימין. הם אף תבעו לעצמם ייחוס של אצולה מבית דוד. מאבקם לשימור המנהגים הספרדיים הוביל לכמה וכמה חיכוכים בינם ובין הקהילה המקומית, שהמפורסם שבהם היה הקרב על דיני השחיטה הראויים.
במקביל, הם השקיעו מאמץ אדיר בהקמת מערכת חינוך, במימון חינוך עבור חסרי יכולת, בגיוס כספים מעשירי הקהילה לשם העתקת כתבי-יד והפצתם, בהקמת ספריות ובמימון בתי ספר וישיבות ועוד.
התפשטות השימוש בדפוס הייתה אחד הגורמים החשובים בתהליך זה. ובתי דפוס עבריים הוקמו בין השאר בפאס, בצפת ובכל מקום שאליו הגיעה הפזורה הספרדית.
"בימי משול הערבים בספרד חיו היהודים שם חיי אשר ושלוה וחסו בצל מושלים צדיקים וישרים. היהודים עסקו בכל מלאכה ועבדו את אלוהיהם באין מפריע. אולם, עם ניצחון הנצרות על האיסלאם נגוז אושר היהודים. בתחילה מצאו הכובשים החדשים חפץ ביהודים וחיו בשלום עימם. אולם עם התבצרות הנצרות בספרד גברה השנאה ליהודים, והנוצרים התחילו להצר צעדיהם, לרודפם ולחבל תחבולות לגזול את רכושם. בשנת 1390 התנפל המון פרוע על היהודים בסביליה וערך בהם טבח רב. באותו זמן נתפס רבה הראשי של סביליה, נאסר יחד עם שישים איש מנכבדי עדתו. הרב וחבריו הועמדו למשפט ונידונו למיתה. אך הרב לא נע ולא זע לשמע גזר-הדין והמתין בשלווה. פתאום הבריק נוגה אור לעיני הרב ופניו נמלאו זיו, הוא הוציא את מטפחתו מכיסו, החליק אותה וקימטה לקמטים עד שקיבל תבנית ספינה. אז פנה לשישים חבריו שעמדו סביבו וציווה על כל אחד מהם לנגוע בקצה אצבעותיו בספינה ויהי לפלא בעיניהם. מרגע לרגע גדלה הספינה ותתרחב עד שהפכה לאוניה גדולה ורוח חזקה נשאה אותה על פני רחובות סביליה. אונית-פלא זו הפליגה בים והגיעה בשלום לחוף אלג'יר, שבה שלטו המוסלמים שונאי הנוצרים. היהודים תיארו לפניהם את סבלותיהם ואת הנס שארע להם וביקשו רשות לשבת בארצם. המוסלמים נבוכו ולא ידעו מה לעשות, אך המראבוט (כהן הדת) יעץ להם לקבלם בכבוד ולהרשות להם להתיישב בארץ"
(עיתון "הצפירה", 1887)
התארגנות מחודשת – ארגון הקהל ספרדי בגולת המזרח
ככל שגברו האיבה והקנאות הדתית כלפי ד'יממי (בני החסות הנוצרים והיהודים) נדחקו היהודים מהשכונות המשותפות ונסתגרו בשכונות משלהם. בשכנות אלו היו היהודים נציגי המאהלה (השכונה) שנשאו ונתנו עם השלטונות. לפי עקרונות האיסלאם, בני עם הספר (היהודים והנוצרים) הנם "דמים" – בני חסות הדת המוסלמית, כלומר תושבים סוג בי"ת, שיש להגן עליהם תוך הגבלת זכויותיהם על-ידי חקיקה. יחד עם זאת, לבני החסות הוענקה אוטונומיה בארגון חייהם הפנימיים. מבנה הקהילה הבסיסי, שהתעצב במהלך המאה ה-16, הפך לבסיס הקהילה היהודית המסורתית בגולת המזרח עד המאה ה-20. חיי הקהילה המשותפים פעלו במתכונת קיבוצית מהודקת שבה כולם עסוקים בכול, כולם יודעים על כולם, ולכולם השתייכויות מוגדרות בהתארגנויות בתוך הקהילה. זה חבר בחברת גמילות חסדים (שרק מעטים ומיוחסים הצליחו להתקבל אליה), אחר מעורב בחברת תיקון חצות ומקיים מדי לילה את הטקס היהודי-פולחני בצוותא, שלישי עובד בחברת קברים וכל מתי הקהילה עוברים תחת ידיו וכן הלאה. יחד עם זאת הפיצול בין הקהלים השונים הביא לכך שלא בנקל ניתן היה להקים הנהגה ריכוזית, ובקהילות גולי ספרד לא צמחה הנהגה מרכזית חזקה. ולמרות זאת יהודים רבים ששולבו בעמדות מפתח במנגנוני השלטון של מרוקו, אלג'יר ושאר ארצות צפון אפריקה (בניגוד למגבלות שהטיל האיסלאם), תפקדו כמעין הנהגה בכירה של הקהילה.
בראש הקהל עמד נגיד (יו"ר הקהילה) ששימש בעיקר כמתווך בין הקהילה לשלטונות. בצדו של הנגיד פעלה הנהגת הקהל שנקראה "מעמד". המעמד היה מורכב לרוב מכמה מבני המשפחות העשירות והבינוניות, ומתוכו נבחרו בעלי התפקידים, כמו הגזבר ופרנסי העיר. חברי ה"מעמד" בחרו את "מרביץ התורה", חכם שעסק בסוגיות מוסריות, דתיות ומשפטיות. התחרות על משרת "מרביץ התורה" הייתה קשה, ומינוי זה היה רקע לסכסוכים עזים בתוך הקהל וגם בין מרביצי תורה לבין עצמם. למרות השכר הנמוך שהיה בצדו, מדובר בתפקיד יוקרתי, ויחס הציבור אל החכמים היה טוב מאל רבניו. "מרביץ התורה" היה בראש ובראשונה שופט הקהל. הוא ישב בראש בית הדין. לבד מכך, היה עליו לדרוש בשבתות, ללמד את בני הקהילה מקרא, תלמוד, הלכה ואגדה, וביישובים קטנים אף שימש כמלמד לילדים. לעתים הוא נדרש גם להיות חזן. בקהילות גדולות ומפורסמות מרביץ התורה אף ייסד ישיבה ועמד בראשה, כפי שאירע בצפת. מעמדו של החכם הספרדי, גם אם לא בהגדרתו הפורמלית, נשאר מעוגן בקהילה הספרדית עד לימינו אנו, ובני הקהילה מרבים להקשיב לעצתו.
מההרים אל חופו של הים התיכון – עיר הנמל אווראן
התחנה הבאה שבה או פוגשים את משפחת אדרעי באופן ודאי היא עיר הנמל אווראן, השוכנת לחוף הים התיכון סמוך לקו הגבול הנוכחי בין מרוקו לאלג'יר. כפי שאנו יודעים מרשימות האוכלוסין של יהודי ארץ ישראל מהמאה ה-19 עלו בני משפחת אדרעי לארץ ישראל מהעיר אווראן, לשם היגרו כנראה ממרוקו בדומה לשאר בני הקהילה היהודית בעיר, במהלך המאה ה-18, לאחר יותר ממאה שנים בהן הייתה אווראן אסורה על התיישבות יהודים.
העיר אווראן נוסדה, לפי השמועות, במאה השישית על ידי מלחים אנדלוסים. אבל ידוע גם כי שבטים יהודיים-ברבריים, כדוגמת שבטה של המלכה כאהנא דהיה מהרי האוראנוס, כבר ישבו באזור במאה הרביעית והחמישית. במאה ה-14 כבר הייתה בעיר קהילה יהודית מפותחת, אלא שבאמצע המאה ה-17 גורשו כל יהודי העיר עד אחד. תוך ארבעה ימים נאלצה הקהילה כולה לארוז את מיטלטליה בלי שתהיה שהות בידה למכור או לארגן את רכושה, ולצאת בספינות אל מחוץ לעיר. מחמת סערות חזקות בים – היה אז חודש אפריל, חודש רווי תהפוכות מזג האוויר – נדחה הגירוש בכמה ימים, וב-16 באפריל 1669 מצאו עצמם יהודי אווראן שוב במעמד של גולים.
העיר נשארה ריקה מיושביה היהודים עד כיבושה בידי התורכים במאה ה-18. רק ב-1792, עת פינו הספרדים את אווראן, והשליט התורכי, הבאי מוחמד אל-כביר, ביסס בה את שלטונו, שבו היהודים לעיר בהמוניהם. הבאי הזמין אליה יהודים מכל רחבי מרוקו ואלג'יר והציע להם במחיר זול מגרשים בתנאי שיבנו בה את בתיהם, ואכן, קמה באווראן שכונה יהודית מפוארת. אולם בראשית המאה ה-19 נקטעה תקופת הפריחה כשעל העיר השתלט שליט חדש פרו-צרפתי, שהטיל קנסות כבדים על היהודים, ואף לאחר שהודח עדיין נשקפה להם סכנה, וזאת בשל פילגשו היהודייה שנחשדה בבגידה. היא הוצאה להורג עם ילידיה.
עם התקרבותו של הכיבוש הצרפתי ב-1830 שוב נשקפה סכנה ליהודי העיר מצד תושבי הסביבה המוסלמים, שהאשימו אותם בשיתוף פעולה, ועד כינון השלטון הצרפתי הרשמי באווראן ב-1831 לא היה ברור עתידם של יהודיה.
טלטלות אלו, וחוסר הביטחון בדבר יחסו של השלטון החדש בצד התחזקות הכמיהה לארץ ישראל, הניעו קבוצה גדולה מיהודי אווראן, וביניהם גם מכלוף כליפה אדרעי, הראשון לשושלת אדרעי הצפתית, לצאת למסע נדודים לכיוון ארץ ישראל.