石墨纸的结构与原料纤维有很大的区别，经过高温炭化得到的石墨纸几乎由纯碳组成，并且是由二维有序的乱层石墨微晶所组成的多晶体。它与完整的石墨晶体有两个重要的差别：
1、石墨晶格中相邻层间距为3.354A，而构成石墨纸的微晶石墨其晶格中的层间距稍大，为3.42A。
2、在石墨晶格中，各层之间都有一定的空间相对位置（如呈ABAB结构或A-BCABC结构）。但是，在石墨纸的微晶中，层与层之间相对位置不规则，即缺乏三维有序性，所以称为乱层石墨结构。具有乱层石墨结构的石墨纸微品厚度及长度随炭化工艺条件的不同而异。
例如，La为10~100A，相当于3~30层片，La通常为20~60A，也行长达250A的。微晶再集合成一定长的单元，称为小纤维，这是组成石墨纸的二级单元，小纤维聚集成石墨纸。
