השם "אדרעי" אולי מעיד על שורשיה הראשונים של המשפחה כנטועים בעמק הדרעא הפורה, השוכן בדרום מרוקו של היום. באזור זה חיו יהודים במשך תקופה ארוכה, שראשיתה אינה ידועה. על פי המסורת, היהודים הראשונים שהתיישבו בדרעא היו בני עשרת השבטים שגלו לאחר חורבן בית ראשון אל אפריקה. לאורך האלף הראשון היו מגיעות לאירופה עדויות מעמק הדרעא על ידי טיילים ונוסעים שבפיהם היו סיפורים מופלאים על שבטים ברבריים-יהודיים, כשהמעניין והמפורט ביניהם הוא סיפורו של ההיסטוריון הערבי איבן ח'לדון, המתאר את המלכה היהודייה (כנראה) המופלאה ורבת הכוח, כהאנא דהיא או דהינא אל כהינא, בת השבט ג'ראווה שבניו התייהדו, מלכת הרי אוראנס, שהצליחה להביס באמצעות צבא בני השבטים שלה את צבא הג'יהאד הערבי בשנת 697. בדומה לשאר בני השבטים הברבריים, הצטיינו בני השבטים הברבריים-יהודיים בהיכרות מעמיקה עם האדמה עליה דרכו, כשהמפורסמת בהן הייתה עמק דרעא. סופה האכזרי של הממלכה היהודית בדרעא, פרי תחבולה שחיבל השייח' המוסלמי, תואר על ידי ההיסטוריון יוסף טולדנו: "ויהרגו בהם 17 אלף איש וטרפו ביהודי חבל וואד דרעא, אנשים, נשים וטף".
בסוף המאה ה-15 הגיעו יהודים מגורשי ספרד ופורטוגל אל הקהילה היהודית הוותיקה של צפון אפריקה, וביניהם כנראה גם אבות משפחת אדרעי. מסעם של המגורשים אל עבר צפון אפריקה היה קשה ורב התעללויות, ורבים לא עמדו בתלאותיו. שנות קליטתם הראשונות בארצות צפון אפריקה היו גם הן קשות מצד המוסלמים, אך הקהילה היהודית המקומית, שהייתה מדוללת וחלשה, קיבלה את פניהם בברכה ועד מהרה התערו בהם הגולים והפכו למנהיגי הקהילה. בני שבט האדרעים השתלבו בהנהגה הרוחנית והשקיעו מאמץ אדיר בהקמת מערכת חינוך, מימון חינוך בעבור חסרי יכולת, הפצת כתבים, הקמת ספריות ומימון בתי ספר וישיבות.
התחנה הראשונה שבה אנו פוגשים בוודאות את אבות משפחת אדרעי הנוכחית היא עיר הנמל אווראן, השוכנת על חוף הים התיכון סמוך לקו הגבול הנוכחי בין מרוקו ואלג'יר. עוד לפני שנוסדה העיר, כנראה במאה השישית לספירת הנוצרים, ישבו באזור יהודים, ועד המאה ה-17 הלכה והתפתחה בה קהילה יהודית מפוארת, אלא שמאז אמצע המאה ה-17, כאשר גורשו ממנה כל יהודי העיר עד אחד, עברה העיר טלטלות ותהפוכות רבות ביחסה ליהודים. בשנת 1831, עם ראשיתו של הכיבוש הצרפתי באלג'יר, החליטו קבוצה גדולה מיהודי אווראן, וביניהם גם מכלוף (כליפה) אדרעי, הראשון לשושלת אדרעי הצפתית, לצאת למסע נדודים לכיוון ארץ ישראל, ובכך לסתום את הגולל על הטלטלות וחוסר הביטחון שחוו יהודי אווראן במשך הדורות שלפני עלייתם. כמוהם עלו בשנים 19831 ו-1932 עוד יהודים רבים מרצועת החוף של אלג'יר והתיישבו בצפון ארץ ישראל: בצפת, טבריה וחיפה.
חמש שנים לאחר שעלו מכלוף (כליפה) אדרעי ובני משפחתו לצפת, חרבה העיר ברעידת האדמה הגדולה ב-1837. 2,158 איש נספו ברעש ורבים אחרים נותרו בעלי מום. אין לנו עדויות ברורות האם כל בני משפחתו של מכלוף אדרעי נותרו בחיים לאחר הרעש. שיקומה של צפת החל מיד לאחר הרעש למרות החורבן הגדול שזרה, ולקראת סוף המאה ה-19 הפכה צפת למרכז היהודי השני בגודלו בארץ ישראל אחרי ירושלים.