Im Querschnitt sind zwei verschiedene Bezirke zu erkennen: die schmetterlingsförmige graue Substanz (Substantia grisea) und die sie umgebende weiße Substanz (Substantia alba).

Genau wie in den Großhirnhemisphären setzt sich die graue Substanz vorwiegend aus Zellkörpern und die weiße Substanz aus markhaltigen Nervenfasern zusammen. Die dorsalen Vorwölbungen der grauen Substanz werden als Hinterhörner und die ventralen Vorwölbungen als Vorderhörner bezeichnet. Im Brustbereich des Rückenmarks liegt zwischen Hinter- und Vorderhorn jeweils noch ein Seitenhorn.

Die Vorderhörner enthalten motorische Nervenzellen, deren Axone das Rückenmark durch die vordere Wurzel verlassen und hauptsächlich die Körpermuskulatur innervieren.

Die Hinterhörner enthalten sensible Nervenzellen, an denen ein Teil der über die hintere Wurzel eintretenden afferenten Nervenfasern aus der Peripherie synaptisch enden und umgeschaltet werden.

Die Seitenhörner enthalten motorische Nervenzellen des vegetativen Nervensystems, deren Nervenfasern das Rückenmark ebenfalls über die Vorderwurzel verlassen und beispielsweise zur glatten Eingeweidenmuskulatur und zu den Drüsen ziehen.

Die Spinalnerven sind periphere Nerven, die durch die Verbindung der dorsalen und der ventralen Wurzeln gebildet werden. Die dorsalen Wurzeln führen dem Rückenmark sensorische Information aus den Muskeln, der Haut und den Eingeweiden zu. In den ventralen Wurzeln verlaufen dagegen efferente motorische Axone, die Muskeln innervieren, sowie Axone des sympathischen und parasympathischen Nervensystem.

Ursprünglich haben Rückenmark und Wirbelkanal die gleiche Länge, so daß jeder Spinalnerv durch das in gleicher Höhe liegende Zwischenwirbelloch austreten kann. Im Lauf der Entwicklung nimmt jedoch die Wirbelsäule mehr an Länge zu als das Rückenmark. Unterhalb des Rückenmarkendes (Conus medullaris) enthält der Wirbelkanal nur noch Nervenwurzeln, die aufgrund ihres pferdeschwanzähnlichen Aussehens als Cauda equina (Pferdeschwanz) bezeichnet werden. Diese anatomischen Verhältnisse erlauben es, ohne Gefahr der Rückenmarksverletzung, Rückenmarksflüssigkeit zu gewinnen (Lumbalpunktion).