使用 RTP/TCP 协议获取 RTP 数据包的问题

我最近将 RTP/UDP 协议改为 RTP/TCP 协议来获取 RTP 数据包，在 RTSP 通信中设置了：

Transport: RTP/AVP/TCP;unicast;interleaved=0-1

使得信道0作为数据传输信道，信道1作为控制信道，RTP，RTCP数据和RTSP数据共享TCP数据传输通道0，RTP 和 RTCP 数据会以$符号＋1个字节的通道编号＋2个字节的数据长度，共4个字节的前缀开始，RTSP数据是没有前缀数据的。现在我要获取 RTP 数据包进行了这样的判断：

/* 如果接受的数据的第一个字节是符号'$' 且是信道0 ，说明是 RTP 数据包，就开始解包*/
if(0x24 == recvbuf[0] && 0 == recvbuf[1])
{
        poutfile = fopen(outputfilename, "ab+");   
        rtp_unpackage(recvbuf, receive_bytes);  
        fclose(poutfile);
}

不知道上面的判断有什么错误？我的程序不仅收到了 RTP 数据包，还接收到了其它类型的数据包。