השכונה נבנתה בשנת 1891 כשכונת חצר והוגדרה כשכונת מסחר, כלומר היזמים בנו אותה למטרת רווח. הרוח החיה מאחורי השכונה היה יוסף ריבלין. השכונה אמורה היתה להכיל 100 דירות שיועדו ל 100 חברים. ושתיבנה תוך 10 שנים. בפועל נבנו הרבה פחות בתים. אחד היזמים החשובים היה מיכל לייב כץ. שמה של השכונה בא לה, כמו גם לרבות מן השכונות, מתוך פסוק: “זכר רב טובך יביעו וצדקתך ירננו” (תהילים קמ”ה ח’). יש הטוענים שהשם הוא רמז ליוסף ריבלין שבנה 11 שכונות בירושלים שזה בגימטריה ט”ב . רעיון נוסף הוא שהשם הוא לכבודו של מורו ורבו של מיכל לייב כץ – ר’ טוביה גדליה פרוינד.
הבית של מואיז בזכרון טוביה לפי יוסי בנאי - "כשאמא שלי היתה מלכה"
השורות אותם שר יוסי בנאי "היינו ילדים וזה היה מזמן אני וסימון ומואיז הקטן" מאד מפורסמות. במקום אחר יוסי בנאי מספר על ביתו של מואיז ב"זכרון טוביה": בבית אצל אמא של מואיז
בשכונת זכרון טוביה
הרבה שאריות ילדות
מפוזרים עדין
בתוך צנצנות צבעוניות
של ריבות מעשה בית
ובתוך ניחוחות הרוזמרין
המיוראנה, השום והשמיר
אצל אמא של מואיז
אני שומע ספורים שאמא שלי
התחילה פעם לספר לי
אבל לא הספיקה לסיים…