Jak zamontować EODATA jako system plików przy użyciu Goofys w systemie Linux na NSIS
Repozytorium EODATA zawiera dziesiątki petabajtów danych z obserwacji Ziemi z misji takich jak Sentinel-2A czy Sentinel-5P. Przesyłanie takiej ilości danych jest w większości przypadków niewykonalne, ale w NSIS można uzyskać dostęp do danych i przetwarzać je bezpośrednio z chmury, bez konieczności ich pobierania. Należy w tym celu:
utworzyć maszynę wirtualną w chmurze
zainstalować oprogramowanie takie jak goofys do montowania kontenerów S3, a następnie
zamontować zasobnik (ang. bucket) zawierający repozytorium EODATA na maszynie wirtualnej z systemem Linux.
Celem jest to, by dane EODATA wyglądały jak katalogi w systemie Linux, a następnie umożliwić dostęp do nich w zwykły sposób dla tego systemu operacyjnego.
Informacja
W chmurze NSIS maszyny wirtualne są dostarczane ze skonfigurowanym montowaniem repozytorium EODATA z użyciem protokołu s3fs. Zobacz artykuł: Jak zamontować eodata przy użyciu s3fs w systemie Linux na NSIS. Ten artykuł jest jednak przeznaczony dla użytkowników, którzy chcą używać goofys. .
Wymagania wstępne
Nr 1 Konto
Jest wymagane konto hostingowe NSIS z dostępem do interfejsu Horizon: https://horizon.cloudferro.com.
Nr 2. Maszyna wirtualna Linux
Potrzebna będzie maszyna wirtualna z systemem Linux w chmurze NSIS z dostępem do sieci EODATA. Możesz ją utworzyć, postępując zgodnie z jednym z poniższych artykułów:
Ten artykuł został opracowany w oparciu o dystrybucję Ubuntu 22.04. Jeśli używasz innej dystrybucji Linuxa, odpowiednio dostosuj polecenia.
Nr 3. Podstawowa znajomość wiersza poleceń systemu Linux
Wymagana jest podstawowa znajomość wiersza poleceń systemu Linux.
Nr 4 Poświadczenia
Aby skonfigurować goofys, musisz uzyskać odpowiednie poświadczenia. Postępuj zgodnie z artykułem: Jak uzyskać poświadczenia używane do uzyskiwania dostępu do EODATA na maszynie wirtualnej w chmurze NSIS?.
Co zostanie omówione?
Instalacja goofys
Podanie poświadczeń w celu konfiguracji goofys
Montowanie repozytorium EODATA
Konfigurowanie automatycznego montowania EODATA
Zatrzymanie automatycznego montowania repozytorium EODATA przy użyciu goofys
Krok 1: Instalacja goofys
Zaloguj się na konto eouser swojej maszyny wirtualnej, używając SSH.
Zainstaluj wget, aby umożliwić pobranie pliku binarnego goofys bezpośrednio na maszynę wirtualną:
sudo apt update && sudo apt upgrade && sudo apt install wget
Teraz przejdź do swojego katalogu domowego:
cd
Użyj wget, aby pobrać plik binarny goofys:
wget https://github.com/kahing/goofys/releases/latest/download/goofys
Nadaj plikowi binarnemu goofys atrybut „wykonywalny”:
chmod +x goofys
Krok 2: Podanie poświadczeń w celu konfiguracji goofys
Zgodnie z wymaganiem wstępnym nr 4 uzyskaj poświadczenia dla używanej chmury. Załóżmy, że para poświadczeń wygląda następująco:
Q6ORITBEDIYQ1PPPPPPP:eeeeeeeeeeeegggggggggqjfkSDHGtqLGb0nYkpJ
Informacja
Te wartości są tylko przykładowe, należy uzyskać własne dane uwierzytelniające i użyć ich w pozostałej części tego artykułu.
Utwórz katalog do przechowywania poświadczeń:
mkdir ~/.aws/
Utwórz plik ~/.aws/credentials za pomocą ulubionego edytora tekstu (na przykład nano lub vim). Dodaj parę poświadczeń, z którymi pracujesz:
[s3]
aws_access_key_id=Q6ORITBEDIYQ1PPPPPPP
aws_secret_access_key=eeeeeeeeeeeegggggggggqjfkSDHGtqLGb0nYkpJ
Zapisz plik i zamknij edytor tekstu.
Krok 3: Zamontowanie EODATA
Utwórz katalog, który będzie punktem montowania dla EODATA, na przykład:
mkdir ~/eo
Zamontuj EODATA za pomocą następującego polecenia:
./goofys --region RegionOne --profile s3 \
--endpoint https://eodata.nsiscloud.polsa.gov.pl DIAS ~/eo
W tym poleceniu:
./goofys to lokalizacja pobranego pliku binarnego goofys
~/eo to lokalizacja folderu, w którym ma zostać zamontowany system plików EODATA.
DIAS to nazwa zasobnika (eng. bucket) zawierającego zasoby EODATA.
W razie potrzeby można zastąpić dwie pierwsze wartości wymienione powyżej.
Aby sprawdzić, czy montowanie powiodło się, przejdź do katalogu, w którym zostało zamontowane repozytorium EODATA, na przykład:
cd ~/eo
Użyj polecenia ls, aby wyświetlić jego zawartość. Wynik powinien być podobny do tego:
Repozytorium EODATA zostało teraz zamontowane przy użyciu goofys.
Po każdym ponownym uruchomieniu konieczne będzie ponowne wykonanie powyższego polecenia montowania.
Krok 4 Montowanie EODATA podczas uruchamiania
Oto jak automatycznie zamontować repozytorium EODATA przy użyciu goofys podczas uruchamiania systemu.
Jeśli repozytorium EODATA nadal jest zamontowane przy użyciu metody opisanej w Kroku 3, uruchom ponownie maszynę wirtualną.
Utwórz katalog w folderze /root, aby utworzyć stałe miejsce do przechowywania poświadczeń:
sudo mkdir /root/.aws
Skopiuj dane uwierzytelniające z katalogu lokalnego do katalogu .aws w katalogu /root:
sudo cp ~/.aws/credentials /root/.aws/
Teraz dodaj poniższą linię do pliku /etc/fstab. Aby to zrobić, musisz uruchomić edytor tekstu z podwyższonymi uprawnieniami (na przykład używając sudo).
/home/eouser/goofys#DIAS /home/eouser/eo fuse _netdev,allow_other,–dir-mode=0777,–file-mode=0666,–region=RegionOne,–profile=s3,–endpoint= 0 0
W powyższym poleceniu:
/home/eouser/goofys to pobrany plik binarny goofys i
/home/eouser/eo to lokalizacja, w której chcesz zamontować EODATA.
Po dodaniu tego wiersza do pliku /etc/fstab uruchom ponownie maszynę wirtualną. Po ponownym uruchomieniu systemu sprawdź, czy repozytorium EODATA jest zamontowane w określonym przez ciebie katalogu.
Wyłączenie automatycznego montowania repozytorium EODATA przy użyciu goofys
Jeśli chcesz wyłączyć automatyczne montowanie repozytorium EODATA, usuń wiersz dodany w Kroku 3 z pliku /etc/fstab. Możesz go również oznaczyć jako komentarz, dodając znak # na początku wiersza.
Następnie należy ponownie uruchomić maszynę wirtualną. Opcjonalnie możesz również usunąć plik binarny goofys i dane uwierzytelniające, jeśli nie chcesz już używać goofys.
Jak aktualizować goofys w przyszłości
Aby zaktualizować goofys do najnowszej wersji:
upewnij się, że dane w repozytorium EODATA nie są aktywnie używane przez żadne oprogramowanie na twojej maszynie wirtualnej,
usuń plik binarny goofys z katalogu domowego,
wykonaj polecenia takie jak wget i chmod z pierwszej części tego artykułu, aby pobrać nową wersję oraz
uruchom ponownie maszynę wirtualną.
Co można zrobić dalej?
Można również wypróbować inne metody dostępu do EODATA, takie jak:
Jak zamontować eodata przy użyciu s3fs w systemie Linux na NSIS
Jak uzyskać dostęp do EODATA za pomocą s3cmd na NSIS
Jeśli chcesz uzyskać dostęp do EODATA na maszynie wirtualnej z systemem Windows, możesz to zrobić, postępując zgodnie z tym artykułem:
Jeśli okaże się, że ilość miejsca na dysku maszyny wirtualnej jest niewystarczająca do przetwarzania EODATA, można utworzyć i dołączyć do niego wolumin. Można to zrobić, postępując zgodnie z jednym z poniższych artykułów: