רמי נולד בעיר אולם שבגרמניה, במחנה עקורים, בן יחיד להורים פליטי שואה. בשנת 1949, בהיותו בן 3, מיד לאחר מלחמת השחרור, עלה רמי עם משפחתו ארצה, הישר למעברת ג'ליל בהרצליה, עד שקבעו את ביתם בתל אביב.

את לימודיו היסודיים עשה בביה"ס "יסוד המעלה" ואת לימודיו התיכוניים בעירוני א'. רמי אהב ספורט משחר ילדותו, ובנעוריו שיחק כדורגל בקבוצת בני יהודה.

בשנת 1964 התגייס לצה"ל. רמי סיים את הטירונות בהצטיינות, ואת שירותו הסדיר עשה בחיל התותחנים כקצין ארטילריה וסיים אותו בדרגת סגן. במסגרת שירות המילואים השתתף במלחמת ששת הימים יחד עם כוח הצנחנים שפרצו לירושלים, במלחמת יום הכיפורים כרופא גדודי ובמלחמת לבנון הראשונה כרופא מוטס ביחידת החילוץ של חיל האוויר. רמי השתחרר משירות מילואים בגיל 52, בדרגת רב-סרן.

רמי החל את לימודי הרפואה בבולוניה, איטליה, בשנים 1970-1967 וסיים את לימודיו בביה"ס לרפואה של הטכניון ב-1973. את התמחותו עשה בביה"ח "אסף הרופא", במח' נשים ויולדות והתמקד בתחום הכירורגיה הגניקולוגית.

בשנת 1981 נסע ללונדון, להשתלם בתחום האורו-גניקולוגיה ובכירורגיה וגינאלית אצל פרופ' סטיוארט סטנטון, מהגניקולוגים המפורסמים בעולם.
בארץ היה רמי החלוץ בתחום זה כאשר הקים את היחידה האורו-דינמית לטיפול בהפרעות שתן ושיקום רצפת האגן.
בשנת 1999 התמנה לפרופסור - חבר קליני בביה"ס לרפואה של אוניברסיטת תל אביב.

רמי השתתף במחקרים רבים, בהוראת סטודנטים, קידם וליווה מתמחים וממשיכי דרך בתחומו. לזכותו כ-100 פרסומים מדעיים בעיתונים מהמקצועיים בעולם. כמו כן, ארגן כנסים רבים בארץ ובחו"ל, ואף היה חבר ועמד בראש הוועדה המדעית של ה-ICS ה-(International Continence Society) החל משנת 1997 ועד שנת 2003.

החברה הישראלית לאורו-גניקולוגיה מעניקה, מדי שנה, פרס על שמו למצטיינים בתחום זה.

רמי היה ספורטאי בכל רמ"ח איבריו, אהב כדורגל, סקי ובעיקר טניס - שם גם נדם ליבו בעיצומו של משחק. חבריו לטניס, מארגון הטניס הישראלי לרופאים, מקיימים מדי שנה טורניר לזכרו, בו מוענקים גביעים על שמו.

רמי היה נשוי לתמי, עורכת דין במקצועה, ולהם שלושה ילדים: שרון, ירון וענת.