Linux下，如何将H.264的帧文件，保存为视频文件，可供播放？

客户端将采集以后的H.264数据采用RTP机制发送到服务器，我在服务器这边首先将收到的RTP包进行解析，获取到真正的H.264数据包。由于H.264数据包只有I帧与P帧。P帧需要2~4个socket包才能发送完成。I帧而需要10~30个socket包才能发送完毕。
在接收端，我对包进行解析并对包头判断：遇到十六进制00 00 00 67开头的包时，我开始保存（十六进制00 00 00 67开头的包后紧跟着十六进制00 00 00 68开头的包，再后面为多个十六进制00 00 00 65开头的包。三者分别代表SPS、PPS、I帧）。即我的思路为从I帧开始保存。另外，时戳则是按照帧来计算。目前发送端视频为25帧，所以在接收端按照40毫秒累加来对每一帧接收图像的时戳进行赋值。

保存以后的视频文件有花屏。我采用软件分析了一下，目前是第一个I帧和第二个I帧之间保存出错。第二个I帧以后的保存正确。请各位大侠给出宝贵意见。

楼上思路对的，是应该从SPS,PPS,IDR或者SPS,PPS,I开始保存，IDR帧或者I帧关联的SPS,PPS都必须保存下来，少一个都有可能导致解码不正确。如果PPS与I帧之间有SEI，那么也需要保存下来。