שלום רבינוביץ' נולד בפריאסלאב שבאוקראינה. את השכלתו רכש בתלמוד-תורה, וכבר בגיל 21 פרסם מאמרים וסיפורים קצרים, תחילה בעיתון "המליץ" ולאחר מכן כפליטונים (מעין איגרות) ביידיש. כתב גם ברוסית ובעברית - אם כי חלק הארי של יצירתו נכתב ביידיש.
הוא נכנס לעולם העסקים של קייב בעקבות עזבון שקיבל, ובשנת 1888 החל להוציא את שנתוני "הספרייה העממית היהודית" לספרות, ביקורת ומדע. לשם כך ריכז סביבו את מיטב סופרי היידיש של התקופה כמו מנדלי וי"ל פרץ. הוא ביקש ליישם את רעיון הוצאת רומנים יהודיים כספרי מופת, תוך מתיחת ביקורת על הרומנים הזולים ביידיש שהיו נפוצים מאוד בזמנו.
ב-1890 הפסיד את רוב הונו בבורסה ולאחר שנפרעו חובותיו התיישב באודסה, שם פרסם מספר רומנים. הוא הוציא את הספר מנחם מנדל, שיהפוך לסדרת כתבים שתלווה אותו שנים רבות, אודות סוחר יהודי שאינו מפסיק להמציא תוכניות ותחבולות שאינן מועילות לו לבסוף במאום.
לאחר מספר שנים חזר לקייב ועסק במסחר. ב-1895 כתב את הראשון לסדרת סיפורי טוביה החולב, אודות חולב יהודי עממי וקשה-יום המתמרן בין המסורת לשינויי המודרנה בסביבתו. דמות זו, השופעת הומור למרות הקשיים הרבים ואשר ביטאה את הלכי הרוח היהודיים בתחום המושב ברוסיה, הפכה לאחת המוכרות בספרות היידית והכללית (עליה גם בוסס המחזמר כנר על הגג). כמו כן הוסיף לכתוב סיפורים הומוריסטיים קצרים על הווי היהודים, שתרמו לפרסומו הרב.
עקב מהפכת 1905, שכוונה נגד שלטון הצאר ברוסיה והביאה גם לגל פוגרומים גדול ביהודים, היגר חסר כל לארצות הברית ומשם המשיך לנסוע לביקורים תכופים במזרח אירופה. בתקופה זו העניק הרצאות רבות וכתב בעיתונות היידישאית באירופה ובאמריקה, פרסם שני רומנים ("דאר מבול" ו"כוכבים תועים") שלא זכו להצלחה ומספר מחזות ("הזכייה הגדולה", "האוצר", "קשה להיות יהודי") שחלקן הוצג רק לאחר מותו. בשנת 1909 אורגנו נשפים לכבודו ובכסף שנצבר נפדו מידי המו"לים הזכויות על יצירותיו. כך נפטר ממצוקותיו הכלכליות שליוו אותו כל חייו. הוא חלה בשחפת ובריאותו הדרדרה עוד יותר לאחר מות בנו ב-1915, עד אשר נפטר בניו יורק ב13 במאי 1916. עד 4 ימים לפני מותו עסק בכתיבה ולא זכה לסיים את ספרו "מוטל בן פייסי החזן".
יצירותיו של שלום עליכם ניחנו בהומור רב ומביעות יחס של חמלה והזדהות עם גיבוריו, אנשי העיירות היהודים, על חולשותיהם ומעלותיהם. בסיפוריו שולבה גם ביקורת סאטירית עליהם, אך היא לרוב מוסוות ואינה נוקבת יתר על המידה. יצירותיו סייעו להעלאת הרמה של הספרות היהודית ונתנו ביטוי לתמורות שחלו בחברה היהודית בת זמנו, להווי החיים שהיה ונכחד.
מרבית כתביו תורגמו לעברית על-ידי חתנו, יצחק דב ברקוביץ (ידוע בתור י"ד ברקוביץ).
חלק מספריו היוו בסיס להצגות ולסרטים.
בשנת 1966 הוקם בתל אביב בית שלום עליכם המהווה מרכז לתרבות היידיש בישראל. מספריו הידועים: טוביה החולב מוטל בן פייסי החזן מנחם מנדל יריד (אוטוביוגרפיה) סיפורי רכבת יוסל'ה זמיר אדם ובהמה - מקבץ סיפורים קצרים עירם של האנשים הקטנים מעשה בכלב סירקא
