ד"ר אליעזר קולברג נולד בגליציה המזרחית, בעיירה קאלוש. למד ב"חדר" ובבית הספר העברי שאביו היה בין מקימיו. את לימודיו התיכוניים החל בגימנסיה שבעיירתו ולאחר שזו נסגרה, בתקופת מלחמת העולם הראשונה, עבר לגימנסיה בדרורוביץ. עם סיום לימודיו, גויס לצבא האוסטרי ומשהסתיימה המלחמה, נסע לוינה ולמד שם רפואה.

בתקופת לימודיו בווינה, ביקשהו הרבי מסדיגורה החולה ללוותו לארץ ישראל שם רצה למות ולהיקבר. אליעזר קולברג נענה ויצא אתו לפלסטינה ונשאר עמו עד מותו של הרבי.

לאחר סיום הלימודים, חזר לפולניה אבל שם לא הכירו בתעודתו הווינאית והוא נאלץ ללמוד שנתיים נוספות.

בשנת 1925 נשא לאישה בת למשפחת רבנים ונולדו ילדיהם ריכרד ואביבה.

עם פרוץ מלחמת העולם השנייה, גויס כקצין רפואי לצבא הפולני אולם עם ההתמוטטות המהירה של הצבא, חזר לעיירת הולדתו קאלוש ואילו אשתו וילדיו נשארו בחלק הגרמני. פניותיו אל הקונסוליה הגרמנית בבקשה להתאחד עם משפחתו הגיעו לידי הרוסים וד"ר קולברג נאסר באשמת ריגול ונשפט ל-15 שנים בכלא. בשנת 1945 שוחרר וגורש לאוזבקיסטן. עבד שם ללא שכר כרופא ורעב ללחם. משהסתיימה המלחמה, נודע לו שאשתו וילדיו ושניים מאחיו נספו בשואה. בדרך בלתי ליגלית הצליח להגיע לאוסטריה ומשם, בעלייה הבלתי ליגלית, לחיפה.

גורש לקפריסין ושהה שם חודשים מספר.

משהוקמה מדינת ישראל, הגיע לארץ. אחיו הרוקח, ד"ר יהושע קולברג, שעלה לארץ לאחר השתתפותו בקונגרס הציוני בשנת 1939, סייע בקליטתו.

בראשון לציון קיבל ד"ר קולברג משרה כרופא בקופת חולים ובמשך שנים רבות עבד כרופא ילדים.
כאן נשא לאישה את הגננת נחמה ברניצקי ונולד בנם יצחק.
משנפטר, הובא לקבורה בבית הקברות הישן בראשון לציון.