Pípur og staðalstraumar

fetch pipes-and-standard-streams

Ein öflugasta hugmyndafræðin í Linux er sá möguleiki að geta miðlað gögnum á milli forrita. Í stað þess að vera með eitt risastórt forrit sem gerir allt getum við skeytt saman mörgum litlum forritum til að leysa flókin verkefni.

Staðalstraumar

Sérhvert forrit sem keyrir í Linux opnar sjálfkrafa þrjár samskiptarásir sem kallast staðalstraumar (e. standard streams), þ.e. staðalílag (e. standard input, oft stytt sem stdin), staðalfrálag (e. standard output, oft stytt sem stdout) og villufrálag (e. standard error, oft stytt sem stderr).

Staðalílagið er sá straumur þar sem forritið tekur á móti gögnum. Ef forritið er keyrt á hefðbundinn hátt kemur hann oftast frá lyklaborðinu.

Staðal- og villufrálög eru straumar þar sem forritið getur komið frá sér gögnum og skilaboðum. Ef forrit er keyrt á hefðbundin hátt enda skrifast bæði frálögin út á skjáinn. Algengast er að forrit skili frá sér gögnum á staðalfrálaginu og villumeldingum á villufrálaginu.

flowchart LR
    KB[Lyklaborð] -->|staðalílag| P((Forritið))
    P -->|staðalfrálag| OUT[Skjárinn: gögn]
    P -->|villufrálag| ERR[Skjárinn: villuskilaboð]

Af hverju tvö frálög?

Ef forrit á að skila gögnum viljum við ekki endilega blanda villumeldingum saman við gögnin. Villumeldingar þýða ekki endilega að forritið hafi hrunið eða keyrsla þess hafi misheppnast. Oft gefa forrit frá sér viðvaranir eða önnur skilaboð sem upplýsingar til notanda. Með því að hafa sérstakt villufrálag (stderr) getum við vísað gögnum og villuskilaboðum á mismunandi staði.

Með því að keyra skipunina

find /root

/root
find: ‘/root’: Permission denied

Villuskilaboðin segja okkur að við höfum ekki réttindi til að skoða heimamöppu ofurpaursins, /root. Fyrsta línan gefur okkur þó þá möppu sem við vitum að er til staðar, og við höfum aðgang til að sjá, sem er /root.Þó að þessar línur skrifist báðar út í skelina, eiga þær uppruna sinn úr sitt hvorum straumnum og Linux heldur utan um það.

Endurvísun

Við hefðbundna keyrslu kemur ílag, alla jafna, frá lyklaborði og frálag er skrifað á skjá. Með endurvísun (e. redirection) er hægt að breyta því, þannig að ílag komi frá skrá eða frálag skrifist í skrá.

Frálag í skrá

Það er ekki alltaf möguleiki að vinna og lesa gögn af skjá. Stundum viljum við geyma gögn til að vinna með þau seinna og stundum er einfaldlega of mikið af gögnum til að hægt sé að meðhöndla þau eða lesa beint af skjá.

Staðalfrálag

Skelin býður, þess vegna, upp á nokkrar aðferðir til að beina frálagi í skrár. Í því tilfelli, í stað þess að frálagið sé prentað á skjáinn, er það skrifað í skrá. Virkjarnir > og >> segja skelinni að staðalfrálagið eigi að skrifast í skrá. Munurinn á þessum tveimur virkjum er að með > er skráin alltaf yfirskrifuð, þannig tapast öll gögn sem í henni voru fyrir. Með >> er úttakinu bætt aftast í skránna.

Eftirfarandi skipanir sýna muninn á virkjunum tveimur.

ls > ls1.txt          # býr til nýja skrá ls1.txt með staðalúttaki
cat ls1.txt
ls /dev > ls1.txt     # yfirskrifar ls1.txt með nýju staðalúttaki
cat ls1.txt
ls >> ls2.txt         # býr til nýja skrá ls2.txt
cat ls2.txt
ls /dev >> ls2.txt    # bætir nýju úttaki aftast í ls2.txt
cat ls2.txt

challenges  examples  README.txt

challenges
examples
README.txt

Skoðum annað dæmi,

find /root > root.txt

Villufrálag

Til að endurvísa villufrálaginu í skrá er hægt að notast við virkjana 2> og 2>> og er hegðun þeirra nákvæmlega eins og endurvísunarvirkja staðalfrálagsins. Hægt er að blanda endurvísunarvirkjunum saman. Ef við keyrum

find /root > root.txt 2>> root-err.txt

Sameining frálaga

Ef við kjósum að beina bæði venjulegu frálagi og villuboðum á sama staðinn getum við notast við skipun á borð við

skipun > allt.txt 2>&1

Ílag úr skrá

Á sama hátt og hægt er að skrifa frálag í skrár er einnig hægt að lesa ílag úr skrá, en það er gert með virkjanum <. Þegar honum er beitt, hættir skelin að taka við ílaginu frá lyklaborðinu og skrifar, þess í stað, innihald skráarinnar í ílagið. Ef við heimsækjum ~/examples/data og keyrum

wc -l < names.txt

Notkun ílagsvirkjans er sjaldgæfari en frálagsvirkjanna þar sem flest forrit bjóða upp á að taka við skrám, sem á að lesa, sem viðföng. Til dæmis fæst sama niðurstaða þegar

grep a < names.txt

grep a names.txt

Svartholið

Ef við viljum hunsa frálag eða villuboð sem við höfum engan áhuga á býður Linux upp á sérstaka skrá /dev/null. Hún er þeim eiginleikum gædd að allt sem er skrifað í hana er hunsað og endar því ekki í skráakerfinu.

Algengt er að nota þetta til að hunsa staðalfrálagið eða villufrálagið, þannig það prentist ekki út á skjáinn. Ef við höfum bara áhuga á villufrálaginu, og viljum hunsa allt annað getum við, til dæmis, keyrt

find /root > /dev/null

find /root 2> /dev/null

sort data/names.txt > playground/sorted-names.txt
wc -l data/names.txt >> playground/sorted-names.txt
cat playground/sorted-names.txt

ls welcome.txt engin-svona-skra.txt > playground/ut.txt 2> playground/villur.txt
cat playground/ut.txt
cat playground/villur.txt

Pípur

Mörg Linux-forrit fylgja þeirri hefð að ef skrá er gefin sem viðfang þá vinnur forritið með gögnin úr henni, en ef ekkert viðfang er gefið eru gögnin lesin úr staðalílagi.

Við getum prófað þetta, t.d., með því að keyra skipunina

grep a

Þessi eiginleiki forrita að vinna á gögnum í gegnum staðalinntak er gríðalerga öflugur þegar kemur að vinnslu gagna og er forsenda hugmyndafræðinnar sem flest Linux forrit aðhyllast, þ.e. að gera einn hlut og gera hann vel.

Flæði gagna

Pípan | er virki sem tengir staðalfrálag einnar skipunar beint við staðalílag annarrar. Þessi virki gerir okkur kleift að nota eina skipun til að vinna eða framkalla gögn á einn hátt, svo aðra til að vinna með þá niðurstöðu, svo enn annað forrit til að vinna með þá niðurstöðu, og svo koll af kolli.

Segjum sem svo að við viljum vita hversu margar skrár og möppur eru í vinnumöppunni. Við vitum að ls gefur okkur lista af öllum möppum og skrám og að wc -l telur fjölda lína. Ef við gefum wc -l úttakið úr ls sem staðalílag, þ.e.

ls | wc -l

Á sama hátt getum við fundið allar skrár eða möppur undir vinnumöppunni, þar sem full slóð á skránna inniheldur a, með

find -type f | grep -i a | wc -l

sort data/names.txt
cat data/names.txt | sort

wc -l data/names.txt
cat data/names.txt | wc -l

Litir og pípur

Eins og minnst var á hér að ofan, geta forrit greint hvort staðalfrálagið þeirra fari beint í skeljagluggann eða áfram í pípu eða skrá. Þegar frálagið fer beint á skjáinn er oft gagnlegt að nota liti, en þegar frálagið fer í pípu geta litir verið til vandræða þar sem litir í skelinni eru framkallaðir með því að bæta sérstökum bætarunum, svokölluðum stýritáknum, inni í textanum.

Flest forrit slökkva sjálfkrafa á litum þegar þau sjá að frálagið fer ekki beint á skjá, sem við getum sannreynt með því að keyra

ls --color=auto
ls --color=auto | cat

Sama á við þegar við keyrum skipanir á borð við

grep --color=auto "root" /etc/passwd
grep --color=auto "root" /etc/passwd | cat

Í sumum tilfellum kunna forrit sem pípað er inn í að meðhöndla liti og í því tilfelli er yfirleitt hægt að stilla forrit til að þvinga liti. Þetta á, til dæmis, við um síðufletta.

Ein þægileg leið til að fá yfirlit yfir möppu er að nota tree. Ef mappan inniheldur margar möppur og skrár getur það verið erfitt að skruna í gegnum úttakið og þá er hentugt að nota síðufletti, þ.e.

tree | less

tree -C | less

Algeng tól í pípum

Algengt er að nota pípur til að meðhöndla, sía og umbreyta texta. Margar skipanir eru í boði sem vinna með texta og förum við hér yfir þær algengustu. Allar þessar skipanir fylgja þeirri hefð að inntakið er ýmist gefið sem viðfang eða á staðalílagi.

Röðun

Skipunin sort raðar línum inntaks í stafrófsröð.

Algengar stillingar

Dæmi

Hægt er að raða innihaldi skráa í stafrófsröð með

sort names.txt

Til að raða öllum möppum og undirmöppum í stærðarröð getum við prófað

du | sort 

du | sort -n

Það getur þó reynst tormelt að lesa alltaf stærðir í bætum, og þess vegna býður du upp á stillinguna -h sem gefur stærðir í KB, MB, o.s.frv. til að auðvelda lesturinn. Hægt er að segja sort að raða eftir slíkum stærðum með einingum, þannig gefur

du -h | sort -h

Að sía út endurtekningar

Skipunin uniq fjarlægir runur endurtekinna lína úr inntaki. um við fjarlægt allar endurtekningar sem birtast í

Algengar stillingar

Dæmi

Það er mikilvægt að hafa í huga að uniq fjarlægir ekki að allar endurtekningar, heldur bara þær sem birtast í runu. Ef innihald prufa.txt er eftirfarandi,

b
b
b
a
a
a
c
a
a
b
b

uniq prufa.txt

b
a
c
a
b

sort prufa.txt | uniq

a
b
c

Skipunin

find -type f -exec basename {} \; | sort | uniq -c | sort -n

Klippa eftir dálkum

Skipunin cut „klippir“ ákveðna hluta úr hverri línu. Hún hentar vel þegar línur hafa einfalt og reglulegt snið, til dæmis þegar tvípunktur eða komma skilja að hluta lína.

Algengar stillingar

Dæmi

Skráin /etc/passwd, sem inniheldur lista yfir alla notendur á Linux kerfum ásamt ýmsum upplýsingum um þá, notar tvípunkt sem afmarkara. Prófaðu fyrst að skoða innhald hennar með cat. Til að sækja bara fyrsta dálkinn, þ.e.a.s. gildið sem kemur á undan fyrsta tvípunktinum getum við keyrt

cut -d: -f1 /etc/passwd

cut -d: -f1,7 /etc/passwd       # fyrsti og sjöundi dálkur
cut -d, -f1-3 data/scores.csv   # dálkur eitt til þrjú

Einnig getur cut valið stafi eftir staðsetningu þeirra í hverri línu fyrir sig, þannig ef við keyrum

echo "abcdefgh" | cut -c1-4

abcd

cut -d, -f1,3 data/scores.csv

tail -n +2 data/scores.csv | cut -d, -f1,3

Breyting stafa

Skipunin tr (stytting á translate) er notuð til að framkvæma ákveðnar breytingar á stöfum úr inntaki.

Algengar stillingar

Dæmi

Skipunin tekur við tveimur viðföngum sem eru bæði túlkuð sem listi tákna, og er þá fyrsta tákninu í fyrri listanum breytt í fyrsta tákn seinni listans, og svo koll af kolli. Flest tákn sem gefin eru sem viðföng eru túlkuð sem þau sjálf, þ.e. a þýðir bara bókstafurinn a, en sumir strengir hafa ákveðna merkingu. Dæmi um það er t.d. [:lower:] og [:upper:] sem tákna alla há- og lágstafi í enska stafrófinu.

Við getum þannig breytt öllum (enskum) lágstöfum í hástafi með

echo "Hello there" | tr '[:lower:]' '[:upper:]'

echo "a,b,c" | tr ',' '\n'

Með -d getum við eytt stöfum sem við höfum ekki áhuga á eins og bandstrikum í símanumerum

echo "Sími: 555-1234" | tr -d ' -'

echo "anna     42      blár" | tr -s ' '

echo 'rautt,grænt,blátt' | tr ',' '\n'

Breyting texta

Skipunin sed (stytting á stream editor) les texta línu fyrir línu, framkvæmir umbreytingar á textanum samkvæmt forskrift og skrifar niðurstöðuna. Sé sed gefið viðfang breytist upprunalega skráin ekki nema við biðjum sérstaklega um það.

Algengar stillingar

Dæmi

Fyrsta viðfang sed er svokölluð skrifta (e. script) sem lýsir þeim breytingum sem á að framkvæma. Við ætlum ekki að kafa djúpt ofan í það skriftumál sem sed notar, enda á miklu að taka, en förum aðeins yfir algengustu aðgerðir.

Ein algengasta notkun á sed er til að skipta út einum streng fyrir annan, og er það gert með skipun sem hefur sniðið

s/[mynstur]/[nýr]/[stillingar]

echo "Halló heimur" | sed 's/heimur/Linux/'

Sjálfgefin stilling sed er að skipta aðeins út fyrstu samsvörun hverrar línu, þannig ef margir hlutar línu mátast við mynstrið er aðeins þeim fyrsta skipt út, eins og sjá má með

echo "blár blár blár" | sed 's/blár/rauður/'

echo "blár blár blár" | sed 's/blár/rauður/g'

Einnig er hægt að eyða út línum með sed með stillingunni d (þá er enginn skiptistrengur gefinn),

sed '/ INFO /d' logs/error.log

sed -i.bak '/ INFO /d' logs/error.log

sed 's/ERROR/VILLA/g' logs/error.log

Öflug textavinnsla

Þær skipanir sem við höfum séð hingað til eru hannaðar með afmarkaðar breytingar í huga, eins og að raða í stafrófsröð, skipta út staf eða orði. Ef að vinnsla gagna er orðin það flókin að ekkert þessara tóla dugir, er mögulega kominn tími til að draga fram skipunina awk (nefnd eftir höfundum sínum Aho, Weinberger og Kernighan). AWK er forritunarmál, sem skipunin notar til að umbreyta og skrifa út texta.

Við munum ekki kafa djúpt í forritunarmálið sjálft hér, heldur einblína á nokkrar „algengar uppskriftir“. Grunnbygging hvers awk forrits er mjög einföld:

mynstur { aðgerð }

Skipunin awk hentar gríðarlega vel til að þátta (e. parse) dálka, endurraða þeim og skrifa þá út að nýju.

Algengar stillingar

Dæmi

Sjálfgefið gerir awk ráð fyrir að dálkar séu aðskildir með bili eða inndrætti (e. tab). Við getum vísað í einstaka dálka í hverri línu með $ á eftirfylgt með númeri dálksins, þar sem $1 er fyrsti dálkur, $2 er annar, o.s.frv. Til að vísa í alla línuna (öll gögnin) notum við $0.

Ef við höfum inntak með mörgum dálkum, en höfum aðeins áhuga á að prenta þá út í annarri röð, getum við víxlað þeim. Hér sleppum við mynstrinu (svo þetta á við allar línur) og snúum við orðunum „Hæ heimur“:

echo "Hæ heimur" | awk '{print $2, $1}'

Ef við viljum vinna með gögn sem nota annan afmarkara, til dæmis tvípunkt, þá notum við stillinguna -F. Eins og við sáum áður aðskilur skráin /etc/passwd dálka með tvípunkti. Við getum prentað út fyrsta dálkinn (notandanafn) á eftirfarandi hátt:

awk -F ':' '{print $1}' /etc/passwd

Munurinn á cut og awk sést vel þegar við viljum blanda saman dálkum úr inntakinu og okkar eigin texta. Hér sækjum við notandanafn (dálkur 1) og slóð að skel (dálkur 7) og tengjum saman í eina setningu:

awk -F ':' '{print "Notandinn " $1 " notar skelina " $7}' /etc/passwd

Auk þess að prenta út og endurraða dálkum er awk frábært til að sía gögn með því að nýta sér mynstrið. Í eftirfarandi dæmi viljum við aðeins línur þar sem fyrsti dálkur er stærri en 100. Þar sem við skilgreinum enga { aðgerð } blokk þá framkvæmir awk sjálfgefnu aðgerðina sem er {print $0} (prenta alla línuna út).

echo -e "50 epli\n150 appelsínur\n20 bananar" | awk '$1 > 100'

Samantekt

Listi sem viðfang

Við höfum séð hversu öflug pípan getur verið í vinnslu og meðhöndlun gagna, en eitt tilfelli sem pípan getur ekki leyst er þegar úttakið úr einu forriti þarf að enda sem viðfang í það næsta. Segjum sem svo að við viljum finna allar .md skrár í vinnumöppunni og finna hversu margar línur þær innihalda, hver um sig.

Við vitum að hægt er að nota

find -name "*.md"

find -name "*.md" | wc -l

find . -name "*.md" | xargs wc -l

find -name "*.txt" -print0 | xargs -0 wc -l

Að kljúfa strauminn

Skipunin tee (dregið af T-stykki í pípulögnum) virkar eins og T-stykki í vatnslögn þannig að frálagið fer bæði á skjá og í tilgreinda skrá. Ef við prófum að keyra

cut -d, -f1 data/scores.csv | tee playground/names-from-csv.txt

Dæmi: Greining textaskrár

Segjum að við séum með logs/access.log skrá með mörgum línum og markmið okkar sé að finna þær 5 IP-tölur sem koma oftast fyrir í fyrsta dálki skráarinnar. Til þess getum við skeytt saman mörgum tólum og keyrt flókna keðju á borð við

cut -d' ' -f1 logs/access.log | sort | uniq -c | sort -nr | head -n 5

Í þessari skipun fylgjum við þessum skrefum:

1. cut -d' ' -f1: klippir út fyrsta dálkinn þar sem IP-talan er að finna.
2. sort: raðar öllum línum saman svo hægt sé að telja þær.
3. uniq -c: telur nákvæmlega hve oft hver IP-tala kemur fyrir.
4. sort -nr: raðar niðurstöðunum tölulega þannig að stærsta talan komi fyrst.
5. head -n 5: síar út og sýnir okkur einungis efstu 5 línurnar.

sort data/names.txt | uniq | wc -l

sort data/colors.txt | uniq -c | sort -nr | head -n 1

tail -n +2 data/scores.csv | sort -t, -k3 -nr | head -n 3

cut -d' ' -f7 logs/access.log | sort | uniq -c | sort -nr | head -n 3