将 Unicode 字符(如 '%F6')解码为C++字符串 (Mac OS X)

Decoding Unicode characters like '%F6' to string in C++ (Mac OS X)

本文关键字：C++ 字符串 OS Mac %F6 Unicode 字符 解码      更新时间：2023-10-16

我在Mac OS x中从服务器到客户端(c++)接收文件名时遇到问题。我发送了一个序列化对象，它有一个带文件名的char指针，有时是字符串对象。当我在客户端收到它时，它似乎有字符%F6或%E9。这个问题不会出现在Windows操作系统中，尽管它是相同的代码。有没有办法将这些"%"字符解码回它们在Mac OS中的原始形式?Linux ?

我遇到的几个字符的问题:

ǡ

更改服务器中的代码是很困难的，所以如果有一种方法可以将字符解码回其原始形式，则会更容易。

看起来这些字符是按照ISO 8859-1或一些类似的单字节代码集进行url编码的。简单的答案是你需要将"%F6"转化为'xF6';也就是说，您需要将百分比加上两个十六进制数字转换为相应的单个字节。

这就给你在Mac OS X上留下了一个问题，因为文件名通常以UTF-8存储，而不是ISO 8859-1等。例如(我的提示符是'Osiris JL:'):

Osiris JL: mkdir x
Osiris JL: cd x
Osiris JL: cp /dev/null é
Osiris JL: cp /dev/null è
Osiris JL: ls | odx
0x0000: 65 CC 80 0A 65 CC 81 0A                           e...e...
0x0008:
Osiris JL: ls
è  é
Osiris JL: ls | cat
è
é
Osiris JL: ls | utf8-unicode
(standard input):
0x65 = U+0065
0xCC 0x80 = U+0300
0x0A = U+000A
0x65 = U+0065
0xCC 0x81 = U+0301
0x0A = U+000A
Osiris JL:

Unicode字符为U+0065拉丁小写字母E + U+0300组合重音或U+0301组合重音。

这不是字母和è的通常形式;它们通常被视为U+00E9拉丁小写字母E + ACUTE和U+00E8拉丁小写字母E + GRAVE。

请注意，xF6在UTF-8文本中根本不是一个有效的字节，但在ISO 8859-1, ISO 8859-15(和Windows CP1252)中，0xF6是ö， U+00F6拉丁小写字母O WITH DIAERESIS。

Mac OS X文件创建示例

下面是一个程序来创建一些文件-源文件x.c，在Mac OS X 10.7.5上运行，用GCC 4.7.1编译:

#include <dirent.h>
#include <fcntl.h>
#include <stdio.h>
#include <string.h>
#include <unistd.h>
static void create_file(const char *name)
{
    int fd = open(name, O_CREAT|O_TRUNC|O_RDWR, 0644);
    if (fd >= 0)
    {
        close(fd);
        printf("Created file %s OKn", name);
    }
    else
    {
        printf("Failed to create file %sn", name);
    }
}
static void print_name(const char *name)
{
    size_t len = strlen(name);
    printf("%-10s = ", name);
    for (size_t i = 0; i < len; i++)
        printf(" %.2X", (unsigned char)name[i]);
    putchar('n');
}
int main(void)
{
    const char *names[] =
    {
        "a-exCCx80",  /* a-eu0300 */
        "a-exCCx81",  /* a-eu0301 */
        "b-xC3xA8",   /* b-u00E8  */
        "b-xC3xA9",   /* b-u00E9  */
        "c-xF6",
        "c-xE9",
    };
    enum { NUM_NAMES = sizeof(names) / sizeof(names[0]) };
    for (int i = 0; i < NUM_NAMES; i++)
        create_file(names[i]);
    DIR *dp = opendir(".");
    if (dp != 0)
    {
        struct dirent *entry;
        while ((entry = readdir(dp)) != 0)
            print_name(entry->d_name);
        closedir(dp);
    }
    else
        fprintf(stderr, "error: failed to open current directoryn");
    return(0);
}

这使用了拉丁小写字母'e'的两种编码，带有重音或重音。

它运行得很干净，但是您可以看到文件名被标准化为使用组合重音，即使在文件名字符串中使用U+00E8或U+00E9指定也是如此:

Osiris JL: ls
è       é       makefile x        x.c
Osiris JL: ./x
Created file a-è OK
Created file a-é OK
Created file b-è OK
Created file b-é OK
Created file c-? OK
Created file c-? OK
.          =  2E
..         =  2E 2E
a-è      =  61 2D 65 CC 80
a-é      =  61 2D 65 CC 81
b-è      =  62 2D 65 CC 80
b-é      =  62 2D 65 CC 81
c-%E9      =  63 2D 25 45 39
c-%F6      =  63 2D 25 46 36
è        =  65 CC 80
é        =  65 CC 81
makefile   =  6D 61 6B 65 66 69 6C 65
x          =  78
x.c        =  78 2E 63
Osiris JL: ls
a-è     a-é     b-è     b-é     c-%E9    c-%F6    è       é       makefile x        x.c
Osiris JL: ls | utf8-unicode
(standard input):
0x61 = U+0061
0x2D = U+002D
0x65 = U+0065
0xCC 0x80 = U+0300
0x0A = U+000A
0x61 = U+0061
0x2D = U+002D
0x65 = U+0065
0xCC 0x81 = U+0301
0x0A = U+000A
0x62 = U+0062
0x2D = U+002D
0x65 = U+0065
0xCC 0x80 = U+0300
0x0A = U+000A
0x62 = U+0062
0x2D = U+002D
0x65 = U+0065
0xCC 0x81 = U+0301
0x0A = U+000A
0x63 = U+0063
0x2D = U+002D
0x25 = U+0025
0x45 = U+0045
0x39 = U+0039
0x0A = U+000A
0x63 = U+0063
0x2D = U+002D
0x25 = U+0025
0x46 = U+0046
0x36 = U+0036
0x0A = U+000A
0x65 = U+0065
0xCC 0x80 = U+0300
0x0A = U+000A
0x65 = U+0065
0xCC 0x81 = U+0301
0x0A = U+000A
0x6D = U+006D
0x61 = U+0061
0x6B = U+006B
0x65 = U+0065
0x66 = U+0066
0x69 = U+0069
0x6C = U+006C
0x65 = U+0065
0x0A = U+000A
0x78 = U+0078
0x0A = U+000A
0x78 = U+0078
0x2E = U+002E
0x63 = U+0063
0x0A = U+000A
Osiris JL:

这意味着在创建包含拉丁小写字母E WITH GRAVE的文件的程序中，字符è有两种可能的拼写。

对于程序的输出有很多有趣的观察，比如=符号的不对齐。但关键的一点是，如果您创建的文件名中包含无效的UTF-8字符序列，则每个无效字节将被url编码为%xx，其中xx是与无效字节对应的十六进制值(在磁盘上占用3个字节，而不是1个，AFAICT)。

总结

你必须决定你的源字符集是什么，这样你才能准确地从0x80范围翻译字节。在Mac OS X上将0xFF转换为适当的Unicode字符，或者您将不得不容忍Mac OS X为您创建用%F6代替ö的文件名，等等。文件系统将为您规范化文件名，但您必须提供有效的UTF-8名称。

相关文章：