Kóðun

Eins og við þekkjum eru gögn af ýmsum toga, allt frá texta upp í mynd og hljóð. Þó að þessi gögn séu gríðarlega ólík í okkar huga eru þau öll geymd á nákvæmlega sama máta þegar kemur að tölvum.

Í grunninn geyma harðir diskar, og aðrar gagnageymslur, gögn á sama máta. Við getum ímyndað okkur þessar gagnageymslur sem röð milljarða rofa. Rofana er hægt að setja í tvær stöður, ýmist kveikt eða slökkt. Gögn eru svo geymd í þessum gagnageymslum sem runa af slökkt og kveikt, sem við táknum sem 0 og 1 og köllum bita (bits). Þegar öllu er á botninn hvolft eru því öll tölvutæk gögn geymd sem ein tvíundatala!

Kóðun (e. encoding) er sú aðferð sem beitt er til að framsetningar gagna.

Oftast skiptum við gögnum í tvo flokka, annars vegar textagögn (text data) og hins vegar tvíundagögn (binary data). Í þessum kafla ætlum við að einbeita okkur að kóðun rittákna (e. character encoding).

Textagögn

Textagögn eru þau gögn sem innihalda einfaldan texta, eins og þann sem þú ert að lesa núna. Í þessu kennsluefni táknum við textagögn með þessu útliti og köllum það streng (string).

ASCII

Þar sem tölvur geyma gögn bara sem tölur þá er mikilvægt að allir sammælist um hvaða merkingu tölurnar hafa. Þetta er sérstaklega mikilvægt þegar kemur að textagögnum og reyndi mikið á þetta í árdaga tölvunnar.

Upp úr 1960 var gefinn út svokallaður ASCII (American Standard Code for Information Interchange) staðall sem úthlutaði „öllum“ táknum og bókstöfum sinn tölustaf sem passaði inn í 7 bita tvíundatölu.

10010001100001110110011011001101111010110001000001101000110010111010011101101111010111100100100001

Bæti

Snemma varð 8 bita tölvukerfið að staðli. Sú hefð lifir enn í dag og er gögnum oftar en ekki skipt niður í 8 bita hópa sem kallast bæti (e. byte). Bæti eru oft táknuð með rithætti sextándakerfisins, en þá er hvert bæti einmitt tveggja stafa tala.

Þessi hefð á ekki síst við þegar talað er um ASCII staðalinn, þannig oft má sjá að í stað þess að tákna ASCII táknið A sem tugakerfistöluna 65 eða tvíundatöluna 1000001, þá er hún táknuð sem 0x41 (eða einfaldlega 41).

Restin af heiminum

Sem Íslendingar sjáum við strax ákveðinn galla á ASCII staðlinum. Það er engin leið til að tákna séríslenska stafi eins og á, ð og þ. Við erum auðvitað ekki eina þjóðin sem notar sérstaka stafi. Aðrar evrópuþjóðir nota sömuleiðis sértákn, svo ekki sé minnst á asísk mál eins og Kínversku og Japönsku sem nota þúsundir sérstakra tákna sem eiga lítið skylt við latneska stafrófið. En í ASCII staðlinum er bara pláss fyrir 128 tákn.

Breytingin yfir í 8 bita tölvukerfi skapaði svigrúm til að tvöfalda fjölda tákna í ASCII-staðlinum með því að bæta við 128 nýjum stöfum í lausu sætin sem mynduðust.

Þetta var nóg fyrir ákveðin málsvæði, en ekki nóg til að tákna alla stafi allra tungumála heimsins. Niðurstaðan var þá að hvert og eitt málsvæði tók upp sinn eigin staðal þar sem 128 nýjum táknum var bætt við ASCII staðalinn.

Ísland notaðist, til dæmis, við staðalinn ISO-8859-1, sem stundum er kallaður Latin 1, sem bætti við táknum sem hentuðu mörgum Vestur-Evrópskum málum. Mið-Evrópsk lönd notuðust við ISO-8859-2, svo dæmi séu tekin. Þessi lausn virkaði ágætlega til að eiga samskipti innan málsvæða, en um leið og samskipti fóru á milli landssvæða flæktist málið.

Segjum sem svo að við viljum senda strenginn Óþýð til Grikklands. Með ISO-8859-1 kóðast tákn (bæti) strengsins sem d3 (211), fe (254), fd (253) og f0 (240), eða

d3 fe fd f0

Í Grikklandi var, aftur á móti, notast við ISO-8859-7. Í þeim staðli samsvara þessi gildi allt öðrum táknum, þ.e. Σ, ώ, ύ, og π, og myndi því strengurinn skila sér til Grikklands sem Σώύπ.

Skoða í CyberChef

Önnur kerfi

Margir staðlar spruttu upp sem reyndu að fullnýta 256 „plássin“ sem bætið hafði upp á að bjóða. Í einhverjum tilfellum var það þó ekki nóg, og var þá gripið til þess að notast við fleiri bæti.

Sumar kóðanir notuðust ávallt við sama fjölda bæta fyrir hvert tákn, eins og UCS-2 sem notar 2 bæti (65,536 möguleg tákn) fyrir hvert tákn og UTF-32 sem notar 4 bæti (4.294.967.296 möguleg tákn). Aðrar kóðanir notuðust við breytilegan fjölda bæta fyrir hvert tákn.

Unicode

Unicode samtökin voru seinna stofnuð til að komast að samkomulagi um eitt kerfi sem hægt væri að nota til að kóða texta allra tungumála heims. Unicode staðallinn úthlutar öllum táknum kóðgildi (code point) sem er einfaldlega tala sem auðkennir það tákn.

Kóðagildi tákna í Unicode eru táknuð sem U+HHHH þar sem HHHH er auðkennisnúmer táknsins sem sextándakerfistala. Fyrir táknin sem eru í ASCII staðlinum heimfærast gildin nákvæmlega yfir. Þannig er kóðagildið fyrir bókstafinn A U+0041 og upphrópunarmerki U+0021, svo dæmi séu tekin.

Unicode staðallinn er gríðarlega umfangsmikill og fangar miklu meira en bara bókstafi, en í honum má finna tákn úr dauðum málum og híróglífur, rúnir, broskalla, fána, skáktákn og margt margt fleira.

UTF-8

Sú kóðun sem náð hefur mestri útbreiðslu í dag er UTF-8 (Unicode Transformation Format), sem er útfærsla á Unicode staðlinum og yfir 99% vefsíða heimsins nota. UTF-8 er í rauninni útvíkkun á ASCII sem notast við breytilegan fjölda bæta fyrir hvert tákn. Gildin 0 upp í 127 samsvara þannig ASCII gildunum og því er hægt að lesa ASCII kóðaðan streng rétt sem UTF-8. Önnur tákn eru svo framsett með einu til fjórum bætum. Íslenski stafurinn þ er til dæmis kóðaður sem fe (U+00FE), gríski stafurinn Ω (Omega) er kóðaður sem ce a9 (U+03A9) og broskallinn 🙂 sem f0 9f 99 82 (U+1F642).

11001110 10101001

01001000 01100001 01101100 01101100 11000011 10110011 00100000 11110000 10011111 10011000 10001010

UTF-16

Önnur algeng útfærsla á Unicode staðlinum er UTF-16. Á meðan UTF-8 notar lágmark eitt bæti (8 bita) til að tákna staf, þá notar UTF-16 lágmark tvö bæti (16 bita).

Þetta hefur mjög mikilvægar afleiðingar. Vegna þess að UTF-16 notar alltaf að lágmarki tvö bæti fyrir hvern staf, þá er ekki hægt að lesa ASCII kóðaðan texta sem UTF-16, á sama hátt og hægt er með UTF-8.

Ef við skoðum ASCII táknið A (sem er 65 eða 0x41 í sextándakerfinu), þá er það einfaldlega táknað sem eitt bæti, 41, bæði í ASCII og UTF-8. Í UTF-16 væri það hins vegar oftast táknað með tveimur bætum, t.d. sem 41 00. Þetta þýðir að ef gamalt forrit reynir að lesa UTF-16 skjal sem inniheldur stafinn A, þá gæti það misskilið auka 00 bætið sem sérstakt núll-tákn (e. null byte), sem veldur því að lesturinn á textanum stöðvast eða brotnar.

Bætaröð (Endianness)

Þegar tölvur vinna með gögn sem taka meira en eitt bæti, eins og tveggja bæta stafina í UTF-16, þurfa þær að ákveða í hvaða röð bætin eiga að vistast. Þetta er kallað bætaröð (e. endianness eða byte order).

Við getum vistað bætin á tvo vegu:

• Háendaframsetning (e. Big Endian eða BE): Hér er stærri hlutinn ritaður fyrst, alveg eins og í hefðbundnu talnakerfi (t.d. í tölunni 15, skrifum við tuginn 1 á undan einingunni 5). Kóðunin fyrir A er þá 00 41. Þetta er oft kallað UTF-16BE.
• Lágendaframsetning (e. Little Endian eða LE): Hér er minni hlutinn ritaður fyrst. Kóðunin fyrir A er þá 41 00. Þetta er oft kallað UTF-16LE.

Þó að þetta kunni að hljóma einkennilega er mjög mikilvægt að hafa hugfast að þessar tvær framsetningarleiðir bæta eru í boði og báðar eru notaðar. Bætaröð skiptir ekki bara máli þegar kemur að kóðun rittákna, heldur hefur hún gríðarlega þýðingu í allri tölvunarfræði. Sem dæmi má nefna að netsamskipti eru yfirleitt með hánedaframsetningu en örgjörvar notast yfirleitt við lágendaframsetningu.

00 4e 00 65 00 74 00 f6 00 72 00 79 00 67 00 67 00 69

␀N␀e␀t␀ö␀r␀y␀g␀g␀i

28 00 6f 25 b0 00 a1 25 b0 00 29 00 6f 25 35 fe 20 00 3b 25 01 25 3b 25

EBCDIC

Þó að ASCII, ISO-8859 og að lokum Unicode (UTF-8 og UTF-16) hafi orðið algjörlega ráðandi í heiminum, þá er vert að minnast á eitt annað sögulegt kerfi, EBCDIC (Extended Binary Coded Decimal Interchange Code).

EBCDIC var hannað af IBM á sama tíma og ASCII kom fram og var aðallega notað á stórtölvum þeirra (e. mainframes). Það sem gerir EBCDIC mjög áhugavert er hversu gjörólíkt það er ASCII. Í ASCII er t.d. stafirnir A til Z í röð (65 er A, 66 er B, o.s.frv.), en í EBCDIC eru „göt“ í miðju stafrófinu! Auk þess eru tölustafirnir 0 til 9 kóðaðir ofar en bókstafirnir í stað þess að vera neðar eins og í ASCII.

Þótt mjög fáir noti EBCDIC í dag utan IBM-stórtölvukerfa (sem mörg stór fjármálafyrirtæki nota raunar ennþá), minnir það okkur á mikilvægi þess að vita hvaða staðal verið er að nota. Ef við túlkum EBCDIC gögn sem ASCII endum við með einhverja vitleysu. Þar að auki minnir þetta okkur á að allir staðlar snúast einfaldlega um val. Það er ekki heilagur sannleikur að 65 þurfi að tákna A. Það var einfaldlega val á sínum tíma og hefðin hefur haldið því vali gangandi, meðal annars til að halda samræmi við eldri texta.