Autorem poniższego opracowania jest dr Piotr A. Dybczyński z Instytutu Obserwatorium Astronomiczne UAM w Poznaniu.
Inspiracją był wpis na blogu Alana Skorkina

Polecenie SORT służy do sortowania

Sortowanie jest jednym z ważniejszych elementów programowania. Znajomość różnych algorytmów i technik sortowania to ważna część wiedzy programisty.

Tutaj jednak zajmiemy się czymś znacznie prostszym: wykorzystaniem unixowego polecenia sort do porządkowania jednego lub więcej plików, wiersz po wierszu, wedle ustalonych przez nas reguł. A przy okazji rozejrzymy się po środowisku w jakim pracujemy.

Wielu użytkowników kończy swoją znajomość polecenia sort na poleceniach typu:

Domyślne zachowanie tego polecenia dla wielu prostych zastosowań będzie wystarczające - wyświetli w terminalu posortowane wiersze wskazanego pliku. Przyjrzymy się jednak działaniu tego polecenia nieco dokładniej. Można oczywiście przestudiować manual (polecenie man sort) ale łatwiej jest poznać specyfikę niektórych opcji i możliwości na przykładach.

Stwórzmy (polecenie touch) plik literki.txt zawierający po jednej literze w wierszu. Polecenie cat pozwoli nam wyświetlić jego zawartość (w tym i pozostałych przykładach znak dolara ($) zastępuje całe zgłoszenie systemowe (ang.: Prompt):

Podstawowe użycie polecenia sort widzimy poniżej:

a gdybyśmy chcieli posortować w odwrotnej kolejności:

W zasadzie wszystko dobrze, ale trochę dziwnie zachowuje się kolejność małych i dużych liter. W manualu do polecenia sort czytamy, że opcja: -f (lub --ignore-case) powoduje nierozróżnianie małych i dużych liter przy porównywaniu. Powinno to być zachowanie domyślne, ale sprawdźmy:

Oszustwo! Widać gołym okiem, że nierozróżnianie małych i dużych liter nie jest prawdą. Co gorsza polecenie sort zachowuje się niestabilnie, to znaczy zmienia kolejność wierszy również tam, gdzie powinno traktować je jako "równe" z punktu widzenia reguł sortowania. Dopiero dodanie opcji -s (--stable) zmienia sytuację:

Dlaczego tak jest? Ano, po szczegółowej lekturze opisu działania polecenia sort można się dowiedzieć, że jeśli sortowane wiersze nie różnią się z punktu widzenia przyjętych reguł to jako ostateczne kryterium stosowane jest jeszcze porównywanie kodów znaków! Dopiero opcja -s wyłącza to ostatnie porównywanie.

Zmodyfikujmy plik literki.txt, tak by otrzymać:

Kody "polskich literek" 'ą' oraz 'ć' powinny umieszczać je daleko od 'a' czy 'c' . Sprawdźmy:

Nadal coś nie tak! Duże i małe litery reagują na opcję -s (to znaczy duże i małe te same litery występuja teraz w takiej samej kolejności jak w pliku nieposortowanym) ale system skądś wie, że 'ą' jest w polskim alfabecie przed 'b' i kody najwyraźniej nie mają tu nic do rzeczy.

Jak przeczytamy manual polecenia sort do samego końca to znajdziemy jeszcze ostrzeżenie:

*** WARNING *** The locale specified by the environment affects sort
order. Set LC_ALL=C to get the traditional sort order that uses native
byte values.

Cóż to oznacza? Sprawdźmy ustawienia językowe:

Widać, że system wie, iż posługujemy się językiem polskim i stąd jego "nadinteligencja" przy sortowaniu. Ale rada zawarta w powyższym ostrzeżeniu nie jest najlepsza - ustawienie LC_ALL="C" spowoduje przestawienie całego naszego środowiska na język angielski i siedmiobitowy kod ASCII. Polecenie man locale wyjaśnia, do czego służą poszczególne zmienne, oraz że ustawienie zmiennej LC_ALL ma najwyższy priorytet. U nas LC_ALL nie jest ustawione i niech tak pozostanie. O kolejności sortowania decyduje wartość zmiennej LC_COLLATE. Spróbujmy:

Uff. Poradzimy sobie już chyba z subtelnościami sortowania tekstów. A co z liczbami? Stwórzmy plik numerki.txt:

i spróbujmy posortować jego wiersze:

Wiersze nie są uporządkowane numerycznie ale łatwo zgadnąć co się stało: polecenie sort nic nie wie o naszych zamiarach i nadal sortuje według kolejności leksykograficznej. Czyli najpierw według pierwszego znaku, potem drugiego (jeśli jest) itd. lekarstwem jest opcja -n:

Działa! Ale zmodyfikujmy plik numerki.txt następująco:

Wynik sortowania będzie zaskakujący:

Jeśli ktoś sądzi, że użycie opcji -g zamiast -n pomoże (a tak sugeruje dokumentacja) to jest w błędzie:

Jest jeszcze dziwniej!. Powodem znowu są ustawienia językowe! Przypomnijmy je sobie:

Teraz wszystko psuje ustawienie: LC_NUMERIC="pl_PL". Czemu?!?!? Bo w języku polskim separatorem części dziesiętnej jest... przecinek. Polecenie sort posłusznie sortuje według kolejności liczbowej, pomijając te części wierszy, które nie są liczbami (czyli od kropki w prawo!). Tak więc najpierw mamy -4, potem cztery razy zero a potem +5. Dopiero zmiana na LC_NUMERIC=C daje oczekiwany wynik:

Sortowanie nieco bardziej zaawansowane

Wyprodukujmy plik tablica.txt (proponuje skopiować zawartość z przeglądarki zamiast wklepywania zawartości)), który wygląda tak:

Dokumentacja polecenia sort mówi, że wiersze pliku wejściowego można sortować według poszczególnych pół lub grup pól. Służy do tego opcja: -k POS1[,POS2], gdzie POS1 to numer pierwszego pola branego pod uwagę a opcjonalny parametr POS2 to numer ostatniego pola. Zobaczmy jak to działa:

Cóż, wiersze są posortowane, ale według drugiej kolumny a nie czwartej! Czemu? Ano komputer to nie wróżka, i niby skąd ma wiedzieć co uważamy za "pole" w wierszu? Domyślnym separatorem pól są odstępy! To wyjaśnia powyższy wynik sortowania. Zaradzić temu można przy pomocy opcji -t (--field-separator=SEPARATOR) po której podajemy jaki znak ma być uważany za separator pól. Zatem polecenie:

powinno posortować plik według czwartej kolumny. Jak widać posortowało według trzeciej! Dlaczego? Ano dlatego, że każdy wiersz zaczyna się od znaku zdefiniowanego jako separator, tak więc komputer "widzi" przed nim "puste pole" numer 1. Aby posortować według czwartej kolumny musimy w takim przypadku wydać polecenie:

Poćwiczmy teraz nieco...

Polecenie $ ls -dla /etc/s* listuje wszystkie pliki i katalogi zawarte w /etc, których nazwy zaczynają się na literę 's' (na każdym komputerze wynik może się nieco różnić):

Polecenie ls domyślnie sortuje wiersze alfabetycznie według nazw. Gdybyśmy chcieli posortować wynik tego polecenia według liczby dowiązań do danego pliku lub katalogu (liczba całkowita po opisie uprawnień) to zrobilibyśmy to np. tak:

Wykorzystaliśmy tu dodatkowo mechanizm "potokowania": pionowa kreska po pierwszym poleceniu (ls) powoduje przekazanie jego wyjścia jako wejścia do drugiego polecenia (sort). To z tego powodu w definicji separatora przy sortowaniu tablicy pionową kreskę ujęliśmy w apostrofy!

A teraz ćwiczenia:

• Posortuj wynik tego samego polecenia malejąco według rozmiaru obiektów
• Posortuj wynik tego samego polecenia alfabetycznie według miesiąca ostatniej modyfikacji.
• Posortuj wynik tego samego polecenia alfabetycznie według trzeciej litery nazwy pliku lub katalogu. Sortowanie według n-tego znaku i-tego pola wymaga opcji: -k i.n
• Na komputerze w pracowni, w katalogu /home/COMMON/katalogi/marsden są pliki składające się na katalog orbit komet. Skomponuj polecenie, wyświetlające z pliku m4.dat pierwsze 20 komet o najmniejszej odwrotności oryginalnej wielkiej półosi (trzecia liczba od końca w każdym wierszu). Prawdopodobnie przyda się polecenie head. Zapisz wynik w pliku hiperbole.dat w swoim katalogu.

≡