עוד במאה ב-11 התקיימה קהילת יהודים קראים גדולה ברמלה. ידיעות ראשונות עליה מצויות בכתבי סהל בן מצליח המספר על יחסיהם הטובים עם שכניהם היהודים הרבניים. הקהילה הקראית ברמלה גדלה והתעוררו ויכוחים בינם לבין היהודים הרבניים בשנת 1030, עד כדי הכרזת חרם רבני על הקראים שתוכנן לחגיגת הושענה-רבה בשמיני עצרת. אולם השלטון התנגד להכרזת החרם.

ליהודים הקראים ברמלה היו בתי כנסת האחד נקרא "כניסה-אולסטא" – בית הכנסת התיכוני, והשני על שמו של שמואל הנביא שנזכר בתעודה המצורפת לספר תורה קראי.

מהמאה ה-11 שרדו תעודות קראיות מרמלה, כתובות וגט שנכתבו ב- 1036 ושם נאמר "במדינת רמלה אשר בשרון הסמוכה ללוד בארץ ישראל". מקהילה זו התפרסמו אישים אחדים כמו עלי בן אהרון המכונה אלטוויל הארוך שכתב פרוש לכתבי הקודש בסוף המאה ה-11. קראי אחר בעיר רמלה היה ישראל הרמלי שנזכר בספר ויכוחים נגד הקראים, כנראה שגם הקראי יעקב בן ראובן התגורר זמן מה ברמלה.

כיבוש רמלה בידי צבאות הסלג'יקים בשנת 1071 וכיבושה בידי הצלבנים בשנת 1099, הביא קץ על קהילת הקראים ברמלה.

לסקירה היסטורית רחבה על העיר רמלה הכנסו כאן

חידוש חייה וראשית התיישבותה של קהילת הקראים ברמלה, חל עם עליית הגל הראשון של העולים היהודים עם הקמת המדינה בשנות ה-1940/1950. העולים שהגיעו ארצה, שוכנו במחנה ארעי בבנימינה ולאחר חודשיים עברו ל-'ישרש', מושב הסמוך הסמוך לרמלה, אז הייתה זו רמלה ג'. מכאן עברו למגורי קבע ברמלה ובמצליח.

כיום בעיר ישנם שני בתי כנסת קהילתיים, מרכז קהילתי, אטליז כשר וחלקות קבורה בשני בתי העלמין הקיימים בעיר.