Proprietăți¶

Codificarea UTF-8 are următoarele proprietăți atractive:

•

Caracterele UCS de la 0x00000000 la 0x0000007f (caracterele US-ASCII clasice) sunt codificate pur și simplu ca octeți de la 0x00 la 0x7f (compatibilitate ASCII). Acest lucru înseamnă că fișierele și șirurile de caractere care conțin numai caractere ASCII pe 7 biți au aceeași codificare atât sub ASCII, cât și sub UTF-8.

•

Toate caracterele UCS mai mari de 0x7f sunt codificate ca o secvență de mai mulți octeți formată numai din octeți din intervalul 0x80 până la 0xfd, astfel încât niciun octet ASCII nu poate apărea ca parte a unui alt caracter și nu există probleme cu, de exemplu, „\0” sau „/”.

•

Ordinea de sortare lexicografică a șirurilor UCS-4 este păstrată.

•

Toate codurile UCS 2^31 posibile pot fi codificate utilizând UTF-8.

•

Octeții 0xc0, 0xc1, 0xfe și 0xff nu sunt niciodată utilizați în codificarea UTF-8.

•

Primul octet al unei secvențe de mai mulți octeți care reprezintă un singur caracter UCS non-ASCII este întotdeauna cuprins între 0xc2 și 0xfd și indică lungimea acestei secvențe de mai mulți octeți. Toți ceilalți octeți ai unei secvențe multioctet sunt în intervalul 0x80 - 0xbf. Acest lucru permite o resincronizare ușoară și face ca codificarea să fie „apatridă” (să nu depindă configurarea regională a sistemului) și rezistentă la octeți lipsă.

•

Caracterele UCS codificate în UTF-8 pot avea o lungime de până la șase octeți; cu toate acestea, standardul Unicode nu specifică niciun caracter mai mare de 0x10ffff, astfel încât caracterele Unicode pot avea o lungime maximă de patru octeți în UTF-8.

Codificarea¶

Următoarele secvențe de octeți sunt utilizate pentru a reprezenta un caracter. Secvența care trebuie utilizată depinde de numărul de cod UCS al caracterului:

0x00000000 - 0x0000007F:

0xxxxxxx

0x00000080 - 0x000007FF:

110xxxxx 10xxxxxx

0x00000800 - 0x0000FFFF:

1110xxxx 10xxxxxx 10xxxxxx

0x00010000 - 0x001FFFFF:

11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

0x00200000 - 0x03FFFFFF:

111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

0x04000000 - 0x7FFFFFFF:

1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

Pozițiile bitului xxx sunt completate cu biții numărului de cod al caracterului în reprezentare binară, cu bitul cel mai semnificativ primul (big-endian). Se poate utiliza numai cea mai scurtă secvență multiocteți posibilă care poate reprezenta numărul de cod al caracterului.

Valorile de cod UCS 0xd800–0xdfff (surogate UTF-16), precum și 0xfffe și 0xffff (non-caractere UCS) nu trebuie să apară în fluxurile conforme cu UTF-8. În conformitate cu RFC 3629, nu ar trebui utilizat niciun punct peste U+10FFFF, care limitează caracterele la patru octeți.

Exemplu¶

Caracterul Unicode 0xa9 = 1010 1001 (semnul de drepturi de autor) este codificat în UTF-8 sub forma

iar caracterul 0x2260 = 0010 0010 0110 0110 0000 (simbolul „nu este egal”) este codificat ca:

Note de aplicare¶

Utilizatorii trebuie să selecteze o configurare regională UTF-8, de exemplu cu

pentru a activa suportul UTF-8 în aplicații.

Aplicațiile software care trebuie să fie conștiente de codificarea caracterelor utilizate ar trebui să definească întotdeauna configurația regională cu, de exemplu

iar programatorii pot apoi testa expresia, folosind

pentru a determina dacă a fost selectată o configurație regională UTF-8 și dacă, prin urmare, toate intrările și ieșirile standard în clar, comunicarea prin terminal, conținutul fișierelor în clar, numele fișierelor și variabilele de mediu sunt codificate în UTF-8.

Programmers accustomed to single-byte encodings such as US-ASCII or ISO/IEC 8859 have to be aware that two assumptions made so far are no longer valid in UTF-8 locales. Firstly, a single byte does not necessarily correspond any more to a single character. Secondly, since modern terminal emulators in UTF-8 mode also support Chinese, Japanese, and Korean double-width characters as well as nonspacing combining characters, outputting a single character does not necessarily advance the cursor by one position as it did in ASCII. Library functions such as mbsrtowcs(3) and wcswidth(3) should be used today to count characters and cursor positions.

The official ESC sequence to switch from an ISO/IEC 2022 encoding scheme (as used for instance by VT100 terminals) to UTF-8 is ESC % G ("\x1b%G"). The corresponding return sequence from UTF-8 to ISO/IEC 2022 is ESC % @ ("\x1b%@"). Other ISO/IEC 2022 sequences (such as for switching the G0 and G1 sets) are not applicable in UTF-8 mode.

Securitate¶

Standardele Unicode și UCS prevăd că producătorii de UTF-8 trebuie să utilizeze cea mai scurtă formă posibilă; de exemplu, producerea unei secvențe de doi octeți cu primul octet 0xc0 este neconformă. Unicode 3.1 a adăugat cerința potrivit căreia programele conforme nu trebuie să accepte formele care nu sunt cele mai scurte la intrare. Acest lucru se datorează unor motive de securitate: dacă datele de intrare ale utilizatorului sunt verificate pentru posibile încălcări ale securității, un program ar putea verifica doar versiunea ASCII a „/../” sau „;” sau NUL și să treacă cu vederea faptul că există multe moduri non-ASCII de a reprezenta aceste lucruri într-o codificare UTF-8 care nu este cea mai scurtă.

Standarde¶

ISO/IEC 10646-1:2000, Unicode 3.1, RFC 3629, Plan 9.