Scott Joplin fue el segundo de seis hijos. Nació el 24 de noviembre de 1868 en Texas. Su padre fue un esclavo liberto de Carolina del Norte y su madre una mujer libre (es decir, que nunca fue esclava), El padre empezó a trabajar como un peón más para el ferrocarril. Florence trabajó como empleada doméstica y lavandera para que la familia recibiera ingresos adicionales, aquella era una familia amante de la música (Jile, el padre, tocaba el violín y Florence, la madre, el banjo), y dieron a sus hijos de una educación musical elemental. Muestra su habilidad musical a temprana edad y aprende a tocar la guitarra y la corneta; a los ocho años se inicia su afición por el piano. Estudió música con un profesor de música alemán (Julius Weiss), impresionado por sus primeras improvisaciones cuando tenía once años.
 
Tras morir su madre en 1882, Joplin, ante la presión por parte de su padre para que aprendiese un oficio, abandona el hogar familiar. Se instaló en Mississippi y trabajó como pianista en diferentes bares y clubs. Sus experiencias musicales de esos años le sirvieron en el futuro como inspiración rítmica y melódica.
 

Comenzó a vivir en 1885 en la región de San Luis-Sedalia. Joplin estudió en la Universidad George Smith para alumnos negros, donde siguió cursos de armonía y composición. En 1893 actuó, con una orquesta propia en la que tocaba el piano y la corneta, en la World's Columbian Exposition de Chicago.
 
En 1895 publicó sus primeras canciones, en 1899, Original Rags y Maple Leaf Rag (su obra más importante y uno de los rags más famosos que se han editado, que llegó a vender cientos de miles de copias de su partitura); también abrió un centro de enseñanza. El éxito como compositor le llevó a componer más de cincuenta obras para piano entre 1895 y 1917.
 
En 1902, fruto de su interés en expandir las posibilidades del género, compuso el Ragtime Dance, un ballet de veinte minutos de duración con narración incluida, con base en los bailes de la sociedad negra del momento. Comercialmente, fue un fracaso, lo que llevó a que en 1903 su editor musical se negara a publicar A Guest of Honor, la primera ópera de Joplin (aun así, se estrenó en San Luis el 18 de febrero de 1903).
 
En 1906 se desplazó a Chicago y en 1907 se trasladó a Nueva York, donde se asentaría definitivamente dos años más tarde. Cuatro años después publicó, con su propio dinero, la ópera Treemonisha, obra con la que intentó ir más allá del ragtime, para crear una ópera exclusiva de los afroamericanos. Se estrenó en 1915 en una versión de concierto, sin decorados, pero fracasó de cara al público; este hecho provocó en el compositor una depresión, que le llevó a sufrir diversos trastornos mentales y problemas físicos de coordinación. Murió en 1916.
  
Su música resurgió cuando varios de sus rags, entre ellos The Entertainer, aparecieron en la película El golpe (1973) y Treemonisha se estrenó con éxito en 1975 con la Houston Grand Opera.