类似图中这样的三维变换，比如旋转、倾斜，可以用matrix矩阵来表示，但是我不太明白背后的原理，不知道该学哪些东西入手，高数的线性方程，这些天复习了下后也只是会计算，不知道该怎么和图形结合起来
可能你需要一个数学库吧？GSL数学库。
Windows 下只能用到1.8版本。而且还有些功能是不能用的，当然绝大部分是没问题的，尽管用一些替代方式会让程序变得复杂，甚至还有点难看。
强烈推荐在Linux平台下使用最新版。
像我搞计算机图形的，平常的程序中大部分都在和矩阵打交道。
PS：强烈鄙视用Matlab搞计算机图形或计算机视觉的人。
你是做虚拟现实么？还是AR ？呵
高数还不能完全解决你的问题貌似；如果要深入研究，建议分别去了解和学习下立体解析几何，矩阵论，复变函数等；应用领域呢，则有3D游戏开发，很多动漫专业也会有这方面的教学和项目。
矩阵是进行图像（图像？）变换的基本工具，一个坐标乘上相应的矩阵可以得到经过变换之后的位置。变换不外乎平移和旋转变换，所以所有的变换都可以通过平移和旋转矩阵按照一定的顺序相乘得到（注意矩阵没有交换律）。所以你需要了解的就是平移矩阵和旋转矩阵的基本形式。
在了解了基本的变换矩阵后，你可以试试在纸上手算一下这些变换，应该就能了解是怎么回事了。