בשנת 1921, בהשפעת ביקור בקבוצת דגניה א, התאגדו צעירים מעולי עליה השלישית מגליציה שלמדו בבית הספר החקלאי במקוה ישראל, לקבוצה שרוב חבריה היו מתחת לגיל 18. לאחר סיום לימודיהם שאפו להתיישב ביישוב חקלאי. ב-1924, בסיוע פיק"א עלו להכשרה במטולה, אולם מאחר שלא שאפו לחיי איכרים התאגדו בשם "קבוצת הצפון" (על שם מקום התגבשות הקבוצה בצפון הארץ) ופנו למרכז החקלאי בבקשת סיוע בהתיישבות, קיבלו הצעות להצטרף לכפר גלעדי ולגדוד העבודה אבל העדיפו להישאר כקבוצה עצמאית. המרכז החקלאי שלח אותם לחוות גולדברג לעבודה בעיבוד עלי טבק. בתום העונה החקלאית עברו למאהל בעין גנים ועבדו כפועלים חקלאיים במושב ובפתח-תקווה. ב-1925, בהמלצת המרכז החקלאי קיבלו חמישה מחברי הקבוצה עבודה כמדריכים חקלאיים ב"נחלת יעקב", מקום מושבה של קבוצה אחת מתוך ארבע קבוצות מקימי כפר חסידים והקבוצה כולה עברה לצריף שבנתה ליד שייח' אבריק. מקצת חברי הקבוצה שלא עבדו כמדריכים חקלאיים מצאו עבודה בסביבה ויתרתם היו מחוסרי עבודה. זו הייתה התקופה שאל הקבוצה נוספו בנות.
ב-1926 הוחלט על איחוד ארבע קבוצות התיישבות נפרדות לכדי נקודה אחת, בכפר חסידים וכעבור זמן קצר הופסקה עבודתם של המדריכים החקלאיים. לכן העבירה הקבוצה את הצריף לעין בידה שליד נהלל. שם הקימו אנשי הקבוצה משק עזר ולול. אל הקבוצה נוספו מספר בוגרות בית הספר החקלאי לנערות בנהלל. על מנת להקים לול ואורווה לפרד, פירקו חברי הקבוצה חלקים מצריף המגורים. במקביל ניסו לגייס חברים חדשים לקבוצתם. ב-1928 עברה הקבוצה לגניגר לעבודה בנטיעת יער בלפור, מקום בו שהתה 4 שנים והתגבשה.
קבוצה נוספת של בוגרי מקווה ישראל, צעירים במספר שנים מחברי קבוצת הצפון, התאגדו בשם "קבוצת הכרמל" להתיישבות חקלאית ואחרי מספר תחנות, בהן חוות הניסיונות בבית שאן, שם רכשו ניסיון חקלאי מעשי בהנחיית האגרונום קאם, הגיעו למזרע, פגשו בחברי קבוצת הצפון והחליטו להתאחד על מנת ליצור גוף גדול יותר שיזכה להתייחסות רצינית יותר מצד המוסדות המיישבים.
באותה תקופה הצטרפו לקבוצת הצפון גם קבוצת 'גלעד' וקבוצת 'אז"י'
ב-1931 נוספה קבוצת חלוצים מארצות הברית. בשמחת תורה ה'תרצ"ב (1931) עלו ראשוני קבוצת הצפון המאוחדת להתיישבות על אדמות אל-מג'דל שרכש יהושע חנקין מהלבנוני סורסוק עוד ב-1925. עד פסח הגיעו כל אנשי הקבוצה, 48 חברים, מהם 12 משפחות ו-6 ילדים.
המקום נקרא "רמת הצפון" ובמשך שנתיים נתנה הקרן הקיימת למקום גם את השם "אושא" (על פי הצעת בנימין מזר) במטרה להחיות את שם אושא העתיקה. מבחינה ארגונית השתייכה הקבוצה לחבר הקבוצות. חברי הקבוצה התפרנסו מעבודות חוץ, בהן עבודת ייעור מטעם הקק"ל.
מי השתייה הובאו בעגלות מכפר אתא, שהיה מרוחק כ-3 ק"מ מקבוצת הצפון. במשך הזמן ניקו חברי הקבוצה באר עזובה שהייתה במקום והיה אפשר לשאוב ממנה מים.
מספר חודשים אחרי ההתיישבות על הקרקע הצטרפה קבוצה מתנועת גורדוניה. לאחר זמן מה עזבו חברי גורדוניה לחדרה, עזבו מספר חברים נוספים וחברי קבוצת הצפון חשו תחושת בידוד. על מנת לפתור תחושה זו הגיעה למקום קבוצת חברי קיבוץ "פלנטי" של השומר הצעיר.
ב-1935 נקבע שם היישוב כ"רמת יוחנן". על מנת לא לבטל את השם אושא שניתן למקום, הלכו מנחם אוסישקין ומספר חברים כמה עשרות מטרים מערבה, נטעו עץ וקבעו כי מקום זה הוא אושא. שם קם מאוחר יותר קיבוץ בשם זה.
בשנת 1940 חל בו פילוג על רקע רעיוני ובעקבותיו נערכו חילופי חברים עם קיבוץ בית אלפא. אנשי השומר הצעיר עברו מרמת יוחנן לבית אלפא, ואנשי מפא"י מבית אלפא עברו לרמת יוחנן. ב-1952, בעקבות הפילוג בקיבוץ המאוחד, הצטרפו לרמת יוחנן כ-15 משפחות מקיבוץ שפיים.