ASCII、UNICODE、二进制的前世今生

发布时间:2014-10-25 2:19:37
来源:分享查询网

      ASCII 是美国定义的字符标准,用数值0~~7F(即一个字节的低7位) 表示常见的英文字符和一些常见的符号,10进制的范围就是0-127了,比如我们常见的大写字母A ,ASCII值就是65(10进制);之后扩展了一半(即一个字节的8位全部用上),10进制的范围就是128-255,大于128的部分是一些特殊符号。因为表示的字符并不多,所以只用一个字节就可以表示了。而我们说的一个字节是8个二进制位(如:1111 1111,此数的10进制是255,16进制是FF),而7F的二进制形式为(0111 1111) 所以说的7位就指有效的7位。       Unicode是足够编码地球上所有的语言了,所以ASCII中所能表示的,Unicode当然全部包括了。Unicode本身是只有2个字节的,这种方法允许分派   65,536   个可能的唯一的字符。之所以出现UTF-8 ,UTF-16等等之类,那是为了针对不同的应用环境,提高整体编码效率,比如如果某篇文章里绝大部分是英语(单字节就能表示),就比较适合使用utf-8,而如果绝大部分是中文(需要双字节),可能就utf-16比较合适了。      可以通过下面函数实现他们的转换。     MultiByteToWideChar     The   MultiByteToWideChar   function   maps   a   character   string   to   a   wide-character   (Unicode)   string.   The   character   string   mapped   by   this   function   is   not   necessarily   from   a   multibyte   character   set.           int   MultiByteToWideChar(         UINT   CodePage,                   //   code   page         DWORD   dwFlags,                   //   character-type   options         LPCSTR   lpMultiByteStr,   //   string   to   map         int   cbMultiByte,               //   number   of   bytes   in   string         LPWSTR   lpWideCharStr,     //   wide-character   buffer         int   cchWideChar                 //   size   of   buffer     );         至于ascii文件和二进制文件的区别,简单的说:看记事本能不能打开。       能正常打开的,就是ASCII。       打开后是乱码的,就是二进制的。 ASCII文件也称为文本文件,这种文件在磁盘中存放时每个字符对应一个字节,用于存放对应的ASCII码。例如,数5678的存储形式为:5 6 7 8   二进制文件是按二进制的编码方式来存放文件的。 例如, 数5678的存储形式为: 00010110 00101110只占二个字节。二进制文件虽然也可在屏幕上显示, 但其内容无法读懂。C系统在处理这些文件时,并不区分类型,都看成是字符流,按字节进行处理。 输入输出字符流的开始和结束只由程序控制而不受物理符号(如回车符)的控制。 因此也把这种文件称作“流式文件”。   ==================================================== 附件:(声明:转抄别处)       也谈文本文件与二进制文件 2009-01-01 22:32 分类:默认分类 字号: 大大  中中  小小 网上关于文本文件与二进制文件的文章很多,但遗憾的是,这些文章讲得都比较散。下面我将结合所查到的资料,从多个角度谈谈文本文件与二进制文件。 一、文本文件与二进制文件的定义        大家都知道计算机的存储在物理上是二进制的,所以文本文件与二进制文件的区别并不是物理上的,而是逻辑上的。这两者只是在编码层次上有差异。        简单来说,文本文件是基于字符编码的文件,常见的编码有ASCII编码,UNICODE编码等等。二进制文件是基于值编码的文件,你可以根据具体应用,指定某个值是什么意思(这样一个过程,可以看作是自定义编码)。        从上面可以看出文本文件基本上是定长编码的,基于字符嘛,每个字符在具体编码中是固定的,ASCII码是8个比特的编码,UNICODE一般占16个比特。而二进制文件可看成是变长编码的,因为是值编码嘛,多少个比特代表一个值,完全由你决定。大家可能对BMP文件比较熟悉,就拿它举例子吧,其头部是较为固定长度的文件头畔ⅲ?字节用来记录文件为BMP格式,接下来的8个字节用来记录文件长度,再接下来的4字节用来记录bmp文件头的长度。。。大家可以看出来了吧,其编码是基于值的(不定长的,2、4、8字节长的值都有),所以BMP是二进制文件。 二、文本文件与二进制文件的存取        文本工具打开一个文件的过程是怎样的呢?拿记事本来说,它首先读取文件物理上所对应的二进制比特流(前面已经说了,存储都是二进制的),然后按照你所选择的解码方式来解释这个流,然后将解释结果显示出来。一般来说,你选取的解码方式会是ASCII码形式(ASCII码的一个字符是8个比特),接下来,它8个比特8个比特地来解释这个文件流。例如对于这么一个文件流"01000000_01000001_01000010_01000011"(下划线''_'',是我为了增强可读性,而手动添加的),第一个8比特''01000000''按ASCII码来解码的话,所对应的字符是字符''A'',同理其它3个8比特可分别解码为''BCD'',即这个文件流可解释成“ABCD”,然后记事本就将这个“ABCD”显示在屏幕上。         事实上,世界上任何东西要与其他东西通信会话,都存在一个既定的协议,既定的编码。人与人之间通过文字联络,汉字“妈”代表生你的那个人,这就是一种既定的编码。但注意到这样一种情况,汉字“妈”在日本文字里有可能是你生下的那个人,所以当一个中国人A与日本B之间用“妈”这个字进行交流,出现误解就很正常的。用记事本打开二进制文件与上面的情况类似。记事本无论打开什么文件都按既定的字符编码工作(如ASCII码),所以当他打开二进制文件时,出现乱码也是很必然的一件事情了,解码和译码不对应嘛。例如文件流''00000000_00000000_00000000_00000001''可能在二进制文件中对应的是一个四字节的整数int 1,在记事本里解释就变成了"NULL_NULL_NULL_SOH"这四个控制符。   文本文件的存储与其读取基本上是个逆过程,不再累述。而二进制文件的存取显然与文本文件的存取差不多,只是编/解码方式不同而已,也不再叙述。    三、文本文件与二进制文件的优缺点   因为文本文件与二进制文件的区别仅仅是编码上不同,所以他们的优缺点就是编码的优缺点,这个找本编码的书来看看就比较清楚了。一般认为,文本文件编码基于字符定长,译码容易些;二进制文件编码是变长的,所以它灵活,存储利用率要高些,译码难一些(不同的二进制文件格式,有不同的译码方式)。关于空间利用率,想想看,二进制文件甚至可以用一个比特来代表一个意思(位操作),而文本文件任何一个意思至少是一个字符.   很多书上还认为,文本文件的可读性要好些,存储要花费转换时间(读写要编译码),而二进制文件可读性差,存储不存在转换时间(读写不要编解码,直接写值).这里的可读性是从软件使用者角度来说的,因为我们用通用的记事本工具就几乎可以浏览所有文本文件,所以说文本文件可读性好;而读写一个具体的二进制文件需要一个具体的文件解码器,所以说二进制文件可读性差,比如读BMP文件,必须用读图软件.而这里的存储转换时间应该是从编程的角度来说的,因为有些操作系统如windows需要对回车换行符进行转换(将''/n'',换成''/r/n'',所以文件读写时,操作系统需要一个一个字符的检查当前字符是不是''/n''或''/r/n'').这个在存储转换在Linux操作系统中并不需要,当然,当在两个不同的操作系统上共享文件时,这种存储转换又可能出来(如Linux系统和Windows系统共享文本文件)。关于这个转换怎样进行,我将在下一篇文章《Linux文本文件与Windows文本文件间的转换》给出^_^ 四、C的文本读写和二进制读写   应该说C的文本读写与二进制的读写是一个编程层次上的问题,与具体的操作系统有关,所以"用文本方式读写的文件一定是文本文件,用二进制读写的文件一定是二进制文件"这类观点是错误的.下面的讲述非明确指出操作系统类型,都暗指windows.   C的文本方读写与二进制读写的差别仅仅体现在回车换行符的处理上.文本方式写时,每遇到一个''/n''(0AH换行符),它将其换成''/r/n''(0D0AH,回车换行),然后再写入文件;当文本读取时,它每遇到一个''/r/n''将其反变化为''/n'',然后送到读缓冲区.正因为文本方式有''/n''--''/r/n''之间的转换,其存在转换耗时.二进制读写时,其不存在任何转换,直接将写缓冲区中数据写入文件.    总地来说,从编程的角度来说,C中文本或二进制读写都是缓冲区与文件中二进制流的交互,只是文本读写时有回车换行的转换.所以当写缓冲区中无换行符''/n''(0AH),文本写与二进制写的结果是一样的,同理,当文件中不存在''/r/n''(0DH0AH)时,文本读与二进制读的结果一样.    下面给出一个小程序来证明前面的观点. 1、编写如下程序.该程序将字符串"12/n3"分别以文本方式和二进制方式写入test1和test2,然后再以文本方式 读test1,以二进制方式读test2. #include<stdio.h> int main() {     FILE * fp_text,* fp_binary;     char write_buf[4]={''1'',''2'',''/n'',''3''};     char read_buf_text[6],read_buf_binary[6];     int read_count_text,read_count_binary;     //未检测打开是否失败     fp_text=fopen("test1","wt+");     fp_binary=fopen("test2","wb+");     fwrite(write_buf,4,1,fp_text);     fwrite(write_buf,4,1,fp_binary);     //fflush(fp_text);     //fflush(fp_binary);       fseek(fp_text,0L,SEEK_SET);//fseek附带了fflush功能     fseek(fp_binary,0L,SEEK_SET);//     read_count_text=fread(read_buf_text,sizeof(char),5,fp_text);     read_count_binary=fread(read_buf_binary,sizeof(char),5,fp_binary);     //加''/0'',便于打印字符串     read_buf_text[read_count_text]=''/0'';     read_buf_binary[read_count_binary]=''/0'';     printf("In Text Mode:read_count=%d,string=%s/n",read_count_text,read_buf_text);     printf("In Binary Mode:read_count=%d,string=%s/n",read_count_binary,read_buf_binary);     fclose(fp_text);     fclose(fp_binary);     return 0;     } 2、该程序在VC6.0下编译运行,显示结果如下(追忆"//"及其右边内容是我手动加的注释):  In Text Mode:read_count=4,string=12   3                           //文本方式读test1,读到的字符与原先写入test1的字符一样   In Binary Mode:read_count=4,string=12   3                           //二进制方式读test1,读到的字符与原先写入test1的字符一样   3.用记事本打开test1和test2,结果如下:   test1的内容:  12   3           //文本方式写入的,有换行效果,参看下面的4   test2的内容   123         //二进制方式写入的, 无换行效果(记事本对"/r/n"之外的控制字符串无显示效果),参看下面的4 4、用vc6.0以Binary方式(二进制方式)打开test1和test2,结果如下(用其他二进制读写软件也可以)    test1的内容   31 32 0D 0A 33//十六进制,5个字节,比写入缓冲区多了一个字节,在''/n''(0AH)前插了一个''/r''(0DH)   test2的内容   31 32 0A 33//十六进制,4个字节,与写入缓冲区的值一致.    5、总结      从4可以看出,文本方式写时,存在''/n''->''/r/n''的转换,而二进制方式无转换.又从2和4可以推出,文本方式读时存在''/r/n''->至''/n''的转换,而二进制方式无转换.有兴趣的读者可以,以二进制方式读test1或以文本方式读test2,看会出现什么效果   6.补充说明    上述说明仅适用于windows,在linux中文本方式的读写与二进制方式的读写无差别,不存在回车换行间的转换.这样当直接在windows和linux中共享文件时,将会出现与回车换行相关的问题.

返回顶部
查看电脑版