Skrár ljóstra upp um fleira en skráarendingin ein og sér

Í innganginum tókum við birgðatalningu og notuðum file til að finna skrár sem skáru sig úr. Nú skoðum við nánar hvað skrárnar eru í raun og hvernig þær geta falið fleiri gögn en eitt forrit sýnir.

Skrá sem heitir mynd.jpg er ekki endilega JPEG-mynd. Skráarendingin er aðeins hluti af heitinu. Sjálft innihald skrárinnar, og þá einkum upphafsbætin og innri gerð hennar, varpar hins vegar skýrara ljósi á eðli hennar.

Í þessum kafla munum við nýta okkur:

• file til að greina algeng skráarsnið,
• xxd til að skoða hrá bæti,
• strings til að finna læsilegan texta,
• Python til að finna merki og skera út gögn,
• skráarauðkenni, hausa og endamerki til að rökstyðja niðurstöður.

Skráarending er ekki skráarsnið

Stýrikerfi og notendur styðjast iðulega við skráarendingu (e. file extension) sem mikilvæga vísbendingu:

mynd.jpg
skjal.pdf
kippuskra.zip

Hins vegar er okkur í lófa lagið að endurnefna skrár án þess að svo mikið sem einu bæti sé hnikað til í innihaldinu:

mv mynd.png leyndarmal.txt

Skráin telst því enn vera PNG-mynd. Sú staðreynd að heitinu hafi verið breytt hróflar síst af öllu við sjálfu innihaldinu.

Sýnidæmi: endingin lýgur

file leyndarmal.txt

Frálag:

leyndarmal.txt: PNG image data, 640 x 480, 8-bit/color RGB

Nú liggja fyrir tvær veigamiklar athuganir:

• heiti skrárinnar endar á .txt,
• file greinir innihaldið sem PNG.

Af þessu má draga þá varfærnislegu ályktun að skráarendingin fellur engan veginn saman við sjálft skráarsniðið. Okkur er enn hulið hver það var sem hlutast til um endurnefninguna, eða í hvaða tilgangi slíkt var gert.

Æfing: hvað gerði endurnefningin?

mv verkefni.zip verkefni.jpg

file verkefni.jpg

Skráarauðkenni og töfrabæti

Fjölmörg skráarsnið eiga það sammerkt að hefjast á tiltekinni bætarunu sem nefnist skráarauðkenni (e. file signature eða magic bytes).

Algeng dæmi:

Verkfærið file styðst við viðamikinn gagnagrunn slíkra merkja, auk annarra ítarlegra reglna. Okkur er sömuleiðis fært að rýna í bætin sjálf:

xxd -l 16 leyndarmal.txt

Dæmi um frálag:

00000000: 8950 4e47 0d0a 1a0a 0000 000d 4948 4452  .PNG........IHDR

Upphafsbætin átta falla alfarið saman við PNG-skráarauðkennið.

Haus og endamerki

Haus (e. header) nefnist sá upphafshluti skrár sem iðulega geymir skráarauðkenni og fyrirmæli um úrvinnslu gagnanna.

Til eru skráarsnið sem skarta sömuleiðis auðþekkjanlegu endamerki (e. trailer eða end marker):

• JPEG endar venjulega á ff d9,
• PDF endar oft nálægt %%EOF,
• PNG hefur IEND-bálk undir lokin.

Þessi merki teljast mikilvægar vísbendingar, þótt endur og eins ríði á að færa sönnur á sjálfa innri gerð skrárinnar sömuleiðis. Hversdagsleg textaskrá gæti hæglega hafist á rununni %PDF-, án þess þó að hún teljist á nokkurn hátt gilt PDF-skjal.

Æfing: þekktu sniðið

file og MIME-gerðir

Hin hversdagslega skipun hljóðar svo:

file skra

Með því að beita MIME-stillingunni hljótum við staðlaðari lýsingu, af því tagi sem tölvuforrit nýta iðulega:

file --mime-type skra

Dæmi:

skra: image/png

Slík vinnubrögð geta reynst okkur giftudrjúgt þegar glímt er við netþjóna eða fjölda skráa sem skipta hundruðum.

Eigi að rýna í heila möppu, er þessi leið fær:

file vinnuafrit/*

Hrá bæti með xxd

Verkfærið xxd varpar ljósi á bætin í sextándakerfi, auk þess sem það leitast við að sýna okkur læsilega ASCII-stafi til hliðsjónar:

xxd -l 64 skra.bin

00000000: 504b 0304 1400 0000 0800 2a71 5a5b ...  PK........*qZ[..

Fyrsta dálkinn skipar sjálf bætarstaðan (e. offset). Gildið 00000000 gefur til kynna að línan hefjist við nákvæmlega fyrsta bæti viðkomandi skrár. Hefjist lína hins vegar á gildinu 00000010, liggur fyrir að hún á upptök sín 16 bætum frá upphafi, enda er staðan rituð í hinu hefðbundna sextándakerfi.

Hér má nefna nokkrar nytsamlegar stillingar:

xxd -l 32 skra.bin       # upphafsbætin 32
xxd -s 128 -l 32 skra.bin  # 32 bæti sem hefjast við stöðu 128
xxd -g 1 skra.bin        # sýna sérhvert bæti út af fyrir sig

Sýnidæmi: túlka bætarstöðu

00000020: 6767 7b66 756e 6469 647d 0000 0000 0000  gg{fundid}......

00000020 er hex fyrir 32. Textinn gg{fundid} hefst því við eða í nánu framhaldi af bætarstöðu 32, allt eftir því hvar nákvæmlega fyrsti stafurinn skipar sér á línunni.

Æfing: hex-staða

00000100: 2550 4446 2d31 2e37 0a25 ...  %PDF-1.7.%...

Læsilegur texti með strings

Tvíundaskrár geta hæglega geymt textaupplýsingar, enda þótt okkur reynist um megn að opna þær sem hversdagsleg textaskjöl. Verkfærið strings leitar skipulega að runum prentanlegra stafa:

strings skra.bin

Okkur er fært að gera kröfu um lágmarkslengd runu til þess að draga úr óþarfa suði:

strings -n 8 skra.bin

Dæmi:

IHDR
Created with ExampleTool 2.1
password_hint=eldfjall
IEND

Þetta færir okkur dýrmætar vísbendingar um myndsniðið sjálft, þau verkfæri sem nýtt voru og mögulega hnitmiðaða vísbendingu um lykilorð.

Textakóðun skiptir máli

Í sinni sjálfgefnu mynd leitar strings-verkfærið einkum að hversdagslegum ASCII-líkum runum. Texti sem ritaður er í UTF-16 eða öðrum gerðum kóðunar getur hæglega farið fram hjá leitinni, eða birst okkur sem einstakir stafir með núllbætum á milli.

Í GNU-útgáfunni af strings é okkur til að mynda fært að láta reyna á 16 bita texta með lágenda-sniði (e. little-endian):

strings -e l skra.bin

Við skulum því minnast þess dýrmæta lærdóms úr kaflanum um gögn, að sú staðreynd að engin læsileg runa finnist felur engan veginn í sér að ekkert textaefni sé að finna í skránni.

Gögn aftan við skrá

Til eru þau skráarsnið sem heimila tölvuforritum að láta staðar numið við lesturinn undireins og endamerki verður á vegi þeirra. Þá geta aukabæti verið aftan við gilt skjal án þess að venjulegur myndskoðari kvarti.

[PNG-haus ... PNG-gögn ... IEND][ZIP-gögn]

Myndvinnsluforritið birtir okkur PNG-myndina eina og sér. Rannsakandi gæti hins vegar hæglega haft uppi á rununni PK\x03\x04 í kjölfar sjálfs PNG-lokanna.

Sýnidæmi: finnum ZIP-merki með Python

from pathlib import Path

gogn = Path("mynd.png").read_bytes()
merki = b"PK\x03\x04"
stada = gogn.find(merki)

print(stada)

Ef frálagið er:

4096

þá kom fyrsta ZIP-skráarauðkennið í ljós við bætarstöðu 4096.

Okkur er þá fært að skera gögnin út úr sjálfu vinnuafritinu:

from pathlib import Path

gogn = Path("mynd.png").read_bytes()
stada = gogn.find(b"PK\x03\x04")

if stada == -1:
    raise ValueError("ZIP-merki fannst ekki")

Path("nidurstodur/falid.zip").write_bytes(gogn[stada:])

Í kjölfarið rýnum við í skrána, án þess þó að flýta okkur um of við að afþjappa innihaldið:

file nidurstodur/falid.zip
unzip -l nidurstodur/falid.zip

Æfing: skerðu út gögn

from pathlib import Path

gogn = Path("mynd.bin").read_bytes()
stada = gogn.find(b"%PDF-")

if stada == -1:
    raise ValueError("PDF-merki fannst ekki")

Path("nidurstodur/falid.pdf").write_bytes(gogn[stada:])

file nidurstodur/falid.pdf
pdfinfo nidurstodur/falid.pdf
sha256sum nidurstodur/falid.pdf

Gallaður haus

Innan ramma gagnaglímuverkefna getur svo farið að stakt bæti í skráarhaus reynist vera rangt. Við þær aðstæður brestur hversdagsleg forrit alla vitneskju um eðli skrárinnar.

Leikum okkur með þá tilhugsun að vinnuafritið hefjist með þessum hætti:

00 50 4e 47 0d 0a 1a 0a

Hinu réttmæta PNG-skráarauðkenni ætti hins vegar að vera þannig háttað:

89 50 4e 47 0d 0a 1a 0a

Svo virðist því vera sem fyrsta bætinu hafi verið hnikað til úr gildinu 0x89 yfir í 0x00.

Sýnidæmi: gerum við vinnuafritið

from pathlib import Path

slod = Path("vinnuafrit/brotin.png")
gogn = bytearray(slod.read_bytes())

if gogn[:8] != bytes.fromhex("00504e470d0a1a0a"):
    raise ValueError("Skráin passar ekki við vænta gallaða hausinn")

gogn[0] = 0x89
Path("nidurstodur/lagad.png").write_bytes(gogn)

Við gætum þess að rita hina nýju skrá í möppuna nidurstodur/; við skulum fyrir alla muni forðast að rita yfir sjálfa verkefnisskrána sem stendur óhreyfð.

Við svo búið færum við sönnur á verkið:

file nidurstodur/lagad.png
sha256sum nidurstodur/lagad.png

Skráarendurheimt eftir auðkennum

Það vinnulag, að leita skipulega að skráarhausum og endamerkjum innan viðamikilla gagnasafna og draga skrár þaðan út, nefnist skráarendurheimt eftir auðkennum (e. file carving).

Sú aðferð reynist einkar giftudrjúg þegar svo ber undir að:

• sjálft skráakerfið sé annaðhvort fjarverandi eða skemmt,
• skrá hefur verið eytt en bætin eru enn til,
• fjölmargar skrár leynist innan einnar og sömu hráu verkefnisskrárinnar,
• gögnum hafi verið skeytt saman í eina heild.

Hafa ber þó hugfast að þessi aðferð á sínar takmarkanir:

• skráin getur hvílt sundurslitin á miðlinum (e. fragmented),
• endamerkið sjálft kann að vera fjarverandi,
• nákvæmlega sama bætaruna gæti hafa orðið til fyrir eina tómasta tilviljun,
• skráarheiti og önnur lýsigögn eiga það gjarnan til að glatast með öllu,
• þjöppuð eða dulrituð gögn skarta síst af öllu ávallt auðþekkjanlegum merkjum.

Verkfæri á borð við binwalk, foremost og scalpel geta vissulega komið okkur að góðum notum, en hafa ber í huga að þau færa okkur einvörðungu mögulega frambjóðendur, en síst af öllu óskeikular lokaniðurstöður.

Fjölsniðsskrár

Endur og eins reynist unnt að smíða skrá sem fleiri en einu forriti auðnast að túlka með gildum hætti. Slíkar skrár nefnast fjölsniðsskrár (e. polyglot files).

Svo gæti farið að eitt forrit greini skrána sem mynd, á meðan annað lítur á hana sem skráasafn. Þetta helgast af því að ólík skráarsnið styðjast við mismunandi reglur er varða:

• staðsetningu skráarhausa,
• meðferð aukagagna sem heimilt er að láta sem vind um eyru þjóta,
• hvar skrá endar,
• hvernig tekið er á athugasemdum og óþekktum gagnabálkum.

Varist að draga þá ályktun að fjölsniðsskrá sé sjálfkrafa skaðleg í eðli sínu. Hún þjónar okkur hins vegar sem mikilvæg áminning um að ein og sama skráin getur búið yfir fleiri en einni merkingu, allt eftir því hvaða verkfæri fær hana til úrvinnslu.

Samsett CTF-greining

$ file sumar.jpg
sumar.jpg: PNG image data, 800 x 600, 8-bit/color RGB

$ xxd -l 8 sumar.jpg
00000000: 8950 4e47 0d0a 1a0a  .PNG....

$ strings -n 8 sumar.jpg | tail
Comment: ekkert er eins og það synist
leidbeining.txt

$ python3 finna.py
ZIP-merki fannst við stöðu 24576

Samantekt

Í þessum kafla lærðum við að:

• skráarending og skráarsnið telst síst vera eitt og hið sama,
• skráarauðkenni og skráarhausar reynast okkur mikilvægir við greiningu algengra sniða,
• skipanirnar file, xxd og strings veita svör við gerólíkum rannsóknarspurningum,
• bætarstaða gefur til kynna hvar gögn skipa sér innan sjálfrar skrárinnar,
• gögn geta verið viðbætt eða innfelld í annarri skrá,
• gallaða skráarhausa má endur og eins lagfæra í nýju vinnuafriti, sé stuðst við rökstudda tilgátu,
• skráarendurheimt eftir auðkennum hlutast til um að finna mögulega frambjóðendur, þótt hafa beri í huga takmarkanir hennar,
• sama skrá getur stundum verið túlkuð sem fleiri en eitt snið,
• sérhvert skref í ferlinu útheimtir rækilega staðfestingu og vandaða skráningu.

Í næsta kafla færum við okkur frá einni skrá yfir í heilar skráakerfismyndir. Við lærum að greina beina skráakerfismynd frá heilum diski, finna diskdeildir og skoða tilbúin CTF-gögn í lesham.