ערב אחד בשנת תש"ח 1948, פנה מר ישראל ז'וּק בשם הוועד הנבחר,  אל האדריכל גוֹאִידוֹ-יצחק צֶבִי, תושב רמתיים, לשם בניית בית הכנסת המרכזי. שאלתו של ישראל היתה: "אם מוכן גואידו לערוך את תכנית הבניין וכמה דורש תמורת העבודה?"
תשובתו של גואידו הייתה בזו הלשון: "באם תהיה תשובתי חיובית, אוותר על כל גמול כספי, כי יספיק לי הגמול הרוחני".

 כשגואידו הגיע מרומא  הותיר מאחור את כל מכשירי העבודה המקצועיים, הספרים וספרי העזר הטכניים. מאחר ואיטליה נכנסה למלחמה לא יכול היה לשוב אליה. המחסור באלה הִוָּה לו קשיים. בנוסף, כל חומרי הבניין היו מוחרמים על ידי השלטונות הבריטים  וכל בקשה להשיגם נדחתה. לאחר שיקולים נדחתה גם התכנית.
בשנת תש"ח-1948 הוגשה התכנית לוועדה הממשלתית של השלטון המנדטורי וב-21 במארס 1948 ניתן רשיון הבניה אך מלחמת השחרור פרצה והעניין נדחה שוב.
רק בשנת תש"י 1950 , לאחר שהבריטים עזבו , הכריזה המדינה על ביטול כל אשורי הבניה שניתנו על ידי המנדט הבריטי ונעשה נסיון נוסף לקבלת רשיון מן המשרד הממונה שעבר בינתים לידי מהנדס ישראלי.  הוגשה תכנית חדשה עם הרשימה המפורטת של כל חומרי הבניה הדרושים בצירוף הדרישות בבניין: אולם ראשי שיהיו בו 300 מקומות לגברים, וסמוך אליו יהא צורך להוסיף בית כנסת קטן לשם תפילות במנהג אחר, ואולם לחגיגות.
ועד רמתיים הוֹעיד 2 דונם ברחוב בן גמלא, שעליהם יבנה בית כנסת. קודם לכן התפללו בצריף שעמד במקום.

האישור המיוחל התקבל ואבן הפינה לבית הכנסת הונחה ב-1952.
את לוחות הברית התלויים לראווה בחזית בית הכנסת הביא  צֶבי מאיטליה.
בעבודות הבניה לקחו חלק אליהו וֵרְקֶר, יוסף ליכטנטל וישראל ז'וּק מרמתיים.

בית הכנסת נקרא על שם הרב קוק, שהיה רבה הראשי של ישראל.

בתמונה- בית הכנסת בזמן בנייתו.

כתב יצחק קדמון  "רמתיים בשנות השלושים", חדשות השרון, 13.2.98)​​​​​​

המתיישבים ברמתיים בשנותיה הראשונות, וביחוד בשנות ה-30 הראשונות, רובם הגדול היו יוצאי מזרח אירופה - ומבתים דתיים, אולם הם עצמם, אידיאולוגים, פרקו את עול הדת מעליהם. היו גם כאלה, שאמנם ניהלו אורח חיים לא דתי, אך ביחוד בחגים התגעגעו למסורת של בית אבא. היו גם מי שהעלו עמהם לארץ הורים זקנים, והללו גרו בבתיהם והשתדלו להעלים עין מאורח החיים של בניהם, אך לעצמם דבקו במצוות הדת והתגעגעו לאורח החיים המסורתי מבתיהם בגולה. כאלה היו לא רק ברמתיים עצמה, כי אם בישובי העובדים הצמודים לה. כל אלה התארגנו והקימו את צריף בית הכנסת שבמרכז רמתיים כיום. אחד היוזמים והפעילים היה משה זאב אבן שגר בבית בנו אריה בכפר מל"ל, והוא גם אביו של בנימין יצחק אבן, שלימים היה ראש מועצת הדר רמתיים. הוא השאיר רשימות בכתב, ובהן תיאור של הקמת הקהילה הדתית ברמתיים ובית הכנסת.
בית הכנסת הצנוע היה מקדש מעט לא רק לאדוקים שברמתיים, כי אם גם לאלה שהתגוררו בסביבתה. הללו היו משרכים דרכם, מדי בוקר וערב, בימות החמה ובימות הגשמים, כדי להתפלל את תפילות יומם. כך בימות החול: ואילו בחגים היה בית הכנסת מתמלא מפה לפה, שכן גם בני הדור הצעיר יותר באו אל הרינה ואל התפילה, ובשימחת תורה היה צורך לפתוח מניין נוסף בצד בית הכנסת כדי לחפש עליה לתורה לכל הבאים.
היה מה לשמוע, החזן היה מילר, שהנעים בתפילה בקולו הערב ובניגונים כובשי הלב - ושלא על מנת לקבל פרס. את מחייתו ומחיית משפחתו השיג מעבודתו כנגר.
קופמן היה ה"בעל קורא", אלטבך מכפר מל"ל היה הגבאי ומכר כל מיני כיבודים בכסף מלא...
לימים גם נתמנה רב לרמתיים ולסביבתה, הוא הרב דרבקין, שנאומיו - ביחוד ביום כיפור נשמעו בקשב רב. החזן ומשפחתו וגם הרב ומשפחתו התגוררו בצריפים במתחם בית הכנסת, בשטח הכולל כיום גם כמה ממשרדי העירייה. אכן, בתחילה לא היתה דעת הציבור נוחה מן הרב, שנתגלה כמחמיר, אך במרוצת הזמן הסתגל לרוח המקום ונטה להקל במקום להחמיר. שנים רבות התמיד הרב דרבקין בתפקידו כרב של רמתיים והסביבה. במרוצת השנים השתכן בדירה קטנה ברחוב הראשונים ואחר כך בבית ברחוב ישורון, ובמרוצת השנים השיא זוגות רבים מספור.
התפילה בצריף בית הכנסת היתה ב"נוסח ספרד". משעלו העולים מגרמניה בשנת 1933 ואילך, ומהם שנהגו להתפלל בנוסח אחר, "נוסח אשכנז", כולל הניגונים המיוחדים שהיו מקובלים בגרמניה - הקימו לעצמם מניין משלהם, "עדת שלום", והוא מתקיים עד היום ברחוב הרשות בסמוך לבניין העירייה.
כל שלושת בתי הכנסת הבנויים הקיימים כיום במיתחם שברחוב בן גמלא נבנו מאוחר יותר, לאחר שנות השלושים.