Czym jest zdecentralizowane przechowywanie danych?: Głęboka analiza przez Filecoin

Spis treści

• Definicja
• Wprowadzenie do zdecentralizowanego przechowywania
• Podstawowa charakterystyka zdecentralizowanego przechowywania
• Pożądane cechy zdecentralizowanego przechowywania
• Studium przypadku: jak Filecoin ucieleśnia te cechy
• Wynik

Definicja

Zdecentralizowane systemy magazynowania dzielą obowiązki związane z magazynowaniem pomiędzy wielu niezależnych operatorów tworzących jedną sieć magazynowania.

Wprowadzenie do zdecentralizowanego przechowywania

Współczesne przetwarzanie danych jest wysoce scentralizowane. W ciągu ostatniej dekady kilka ogromnych firm zajmujących się chmurą zarobiło ogromne fortuny, dzieląc tradycyjne systemy komputerowe na podzielone na segmenty oferty oparte na chmurze. Współczesna sieć odzwierciedla tę centralizację — awaria jednego z tych dostawców jest poważnym wydarzeniem internetowym. (Jeśli nam nie wierzysz, chcielibyśmy przypomnieć Ci o awarii usługi Amazon Web Storage w 2017 r., dłuższej przerwie w działaniu Githuba w czerwcu 2020 r. lub wielotygodniowych problemach firmy Microsoft z usługami w chmurze w październiku 2020 r.)

Treści, które hostujemy w tych usługach, nie są lepsze, ukryte za kruchymi linkami, które zbyt często się psują. Ma to głębokie konsekwencje dla budowanych przez nas systemów komputerowych i dla społeczeństw, które w coraz większym stopniu na nich polegają.

Scentralizowane architektury odniosły sukces po części dlatego, że są łatwiejsze w budowie.

Aby przeciwstawić się konsolidacji, programiści potrzebują nowych, fundamentalnych elementów, które są równie łatwe do skomponowania. Zdecentralizowane przechowywanie jest jednym z takich kamieni węgielnych, stanowiącym warunek wstępny bardziej rozproszonej sieci.

Podstawowa charakterystyka zdecentralizowanego przechowywania

Istnieje wiele różnych sposobów projektowania zdecentralizowanego systemu przechowywania . Ogólnie rzecz biorąc, kładą wspólny nacisk na odporność i wydajność .

Odporność

Współczesny Internet jest przerażająco kruchy. Treści internetowe znajdują się obecnie za adresami URL, z których każdy w danym momencie należy do jednego serwera. Jeśli z jakiegokolwiek powodu ten dostawca zrezygnuje z sieci, wskazane przez niego treści staną się niedostępne. Centralizacja zwiększa ten efekt, tworząc pojedyncze punkty awarii i zapewniając dogodne możliwości cenzury.

W rezultacie w dzisiejszym Internecie gnicie linków (tak właśnie wygląda sytuacja, gdy łącze jest zepsute lub trwale niedostępne) jest powszechne, cenzura na szczeblu państwowym jest prosta, a rozproszone ataki typu „odmowa usługi” mogą zakłócać dostęp do niemal dowolny plik.

W idealnym zdecentralizowanym systemie utrata operatora nie powinna uniemożliwiać dostępu do wcześniej przechowywanych i udostępnianych treści. Rozkładając obowiązki na wiele węzłów sieci, zdecentralizowane systemy wykazują również naturalną odporność na cenzurę i inne próby odmowy usługi, ponieważ nie ma scentralizowanego celu, przeciwko któremu atakujący mogliby gromadzić zasoby.

Dobrym przykładem tego, jak scentralizowane systemy magazynowania mogą być podatne na cenzurę, jest wydarzenie, które miało miejsce, gdy w Katalonii (jednej z 17 wspólnot autonomicznych Hiszpanii) odbyło się referendum w sprawie niepodległości. Hiszpański rząd – który sprzeciwiał się planom niepodległościowym – zablokował strony internetowe zawierające informacje o głosowaniu na poziomie dostawcy usług internetowych. Zrywając te krytyczne powiązania, rząd skutecznie uniemożliwił wielu osobom dostęp do tych informacji.

Jednak wiele z tych stron internetowych zostało również zdublowanych przy użyciu Interplanetary File System (IPFS), sieci pamięci masowej typu peer-to-peer. Każdy, kto ma węzeł IPFS, może pobrać ocenzurowane informacje z innych węzłów w sieci i samodzielnie zacząć je udostępniać. Zdecentralizowany charakter IPFS przeciwdziałał próbom rządu hiszpańskiego blokowania dostępu do tych dokumentów – gdy tylko jeden węzeł został zablokowany, inny mógł z łatwością zająć jego miejsce. Ogólnie rzecz biorąc, zdecentralizowane systemy pamięci masowej znacznie utrudniają blokowanie na poziomie sieci.

Efektywność

Wszystkie architektury systemów komputerowych mają pewne mocne i słabe strony, a żadne pojedyncze rozwiązanie nie pasuje do wszystkich możliwych przypadków użycia. Niestety, nacisk kładziony we współczesnej sieci na centralizację nie jest inny.

Obecnie większość treści przechowuje kilka scentralizowanych centrów danych w niewielkiej liczbie miast na całym świecie. Jeśli na przykład dwóch użytkowników w tej samej sieci chce wysłać ze sobą wiadomości, wiadomości te zazwyczaj najpierw trafiają do jednego z tych centrów danych. Jeśli w pokoju znajduje się stu użytkowników, którzy oglądają ten sam film na swoich urządzeniach, każdy z nich trafi na serwer centralny i pobierze równolegle sto kopii, zamiast pobierać pojedynczą kopię i udostępniać ją w sieci lokalnej.

Mówiąc najprościej, zdecentralizowana pamięć masowa ułatwia udostępnianie plików bez wysyłania żądań przesyłanych przez Internet do kilku wybranych centrów danych. Zamiast tego węzły nawiązują między sobą połączenia, korzystając z jak najmniejszej liczby pośredników. Na przykład połączenie z węzłami w innych krajach będzie nadal wymagało kilku przeskoków, ale węzły w tej samej sieci mogą bezpośrednio udostępniać pliki. Ostatecznym celem zdecentralizowanych systemów pamięci masowej byłoby posiadanie tak wielu węzłów, aby każdy mógł znaleźć stosunkowo lokalne równorzędne urządzenia, których szuka.

Zdecentralizowane rozwiązania w zakresie przechowywania mogą znacząco zwiększyć efektywność takich działań. Omijając rzadkie centra danych, system rozproszony może umieścić węzły znacznie bliżej konsumentów końcowych niż nawet nowoczesne sieci dostarczania treści, co skutkuje znacznie szybszym odzyskiwaniem plików. Udostępnianie plików peer-to-peer w sieciach lokalnych może również zaoszczędzić cenną przepustowość, szczególnie na obszarach o ograniczonym dostępie do szerszego Internetu.

Pożądane cechy zdecentralizowanego przechowywania

Chociaż odporność i wydajność są cechami charakterystycznymi zdecentralizowanego przechowywania, istnieje szereg dodatkowych cech, które może oferować idealny system przechowywania:

Dostępny

Idealny system rozproszony powinien być dostępny. Uczestnictwo w sieci powinno być łatwe i umożliwiać jak największej liczbie węzłów przechowywanie i dystrybucję plików w imieniu sieci.

Jeśli to czytasz i zastanawiasz się – czy mogę być węzłem? Odpowiedź brzmi: to zależy.

Dzięki Filecoin każda osoba posiadająca w miarę wiedzę techniczną powinna być w stanie uruchomić węzeł kliencki w celu interakcji z siecią. Jeśli chodzi o uruchamianie węzłów eksploracji pamięci masowej (więcej informacji poniżej ), nie jest to coś, co może zrobić każdy i jego mama — musisz mieć sprzęt spełniający określone specyfikacje.

W przypadku IPFS węzły mają mniejsze wymagania sprzętowe, co oznacza, że znacznie więcej użytkowników może wnosić swój wkład do sieci, uruchamiając węzeł (być może uruchamiając wbudowaną przeglądarkę internetową).

Programowalny

Dostawcy usług w chmurze sprawili, że tania i niezawodna pamięć masowa jest łatwiejsza niż kiedykolwiek wcześniej. Jednym z głównych aspektów ich sukcesu jest możliwość udostępniania pamięci masowej i zarządzania nią za pomocą kodu za pośrednictwem interfejsów API. Każdy konkurencyjny system powinien być w stanie zaoferować ten sam poziom wygody.

Adresowanie treści

Jak już wspomniano, adresy URL wiążą się z pewnymi nieodłącznymi kompromisami projektowymi. Opisują lokalizację danych, a nie ich zawartość.

Aby wyjaśnić, w jaki sposób scentralizowane systemy mogą utrudniać znalezienie fragmentu danych — wyobraź sobie, że chcesz pobrać zdjęcie puszystego kotka. Rozważ te dwa adresy URL:

https://example1.com/cat.jpeg

https://example2.com/cat.jpeg

Każdy z tych adresów URL odwołuje się do pliku o nazwie cat.jpeg, ale nie ma gwarancji, że te dwa pliki są takie same. Jeśli witryna example1.com przejdzie w tryb offline, nie możesz być pewien, że witryna example2.com zawiera to, czego szukasz — jej plik cat.jpeg może być zupełnie inny. W rzeczywistości może to być nawet zdjęcie psa! Nie ma nieodłącznego związku między adresem URL a treścią, do której się on odnosi.

W rezultacie nie można zadać współczesnemu internetowi pytania: „Czy ktoś tam ma ten plik?” ponieważ nie wiesz nic o pliku poza jego lokalizacją.

Kiedy udostępniasz pliki za pomocą adresu URL, coś może pójść nie tak. Serwer może zacząć udostępniać inny plik niż ten adres URL lub ktoś może przeprowadzić (co zaskakujące, że nie jest to rzadkie) atak typu man-in-the-middle i zmienić plik. Bardzo trudno jest sprawdzić, czy każda osoba uzyskująca dostęp do adresu URL otrzymuje żądany plik.

Natomiast adresowanie treści wyszukuje pliki na podstawie identyfikatorów treści (CID), które służą jako cyfrowe odciski palców plików. Adresowanie plików w ten sposób rozwiązuje wiele problemów związanych z adresowaniem lokalizacji. Kiedy klient chce pliku, zamiast pytać jeden serwer o adres URL, prosi węzły w sieci o plik z określonym identyfikatorem CID. Gdy klient pobierze plik, sam pobiera odcisk palca.

Wracając do naszego poprzedniego przykładu, wyglądałoby to tak, jakby wszystkie witryny internetowe miały wspólną wiedzę na temat tego, jaki plik dostarczyć, gdy zostaniesz poproszony o plik cat.jpeg. Chociaż nie ma gwarancji, że jakikolwiek węzeł będzie miał ten konkretny plik cat.jpeg, węzły sprawdzą odcisk palca tego pliku i spróbują znaleźć dopasowanie.

Chociaż krok taki jak pobieranie odcisków palców wymaga większej wiedzy technicznej, niż przeciętna osoba chciałaby sobie z tym poradzić, klienci Filecoin i IPFS mogą z łatwością zautomatyzować ten proces. Dzięki temu klient ma gwarancję, że otrzymał plik, o który prosił — w tym systemie znalezienie alternatywnych dostawców fragmentu danych jest banalne.

Główny wniosek: identyfikatory CID oznaczają, że można znaleźć treści, których w przeciwnym razie brakowałoby w scentralizowanym systemie, a identyfikatory CID mogą również zapobiegać atakom typu man-in-the-middle lub nagłej zmianie pliku przez serwer pod określonym adresem URL.

Bez zaufania

System bez zaufania umożliwia współpracę pomiędzy dwiema stronami bez konieczności wzajemnego poznania się lub zwracania się do strony trzeciej. Raczej bodźce systemu popychają aktorów do zachowań niezbędnych do funkcjonowania sieci.

Sprawdzalny

Idealny system przechowywania powinien umożliwiać łatwe ciągłe udowadnianie, że węzły przechowują dokładnie takie dane, jakie obiecały. Ten rodzaj audytowalności jest kluczem do osiągnięcia braku zaufania. Jeśli zawsze możesz ustalić, że dane są przechowywane prawidłowo, nie musisz ufać podmiotowi zapewniającemu przechowywanie.

otwarty

Wreszcie idealny rozproszony system pamięci masowej jest otwarty: jego kod jest typu open source i można go kontrolować. Ponadto system przechowywania nie powinien być monolityczny. Zamiast tego powinien udostępniać otwarty protokół, który każdy może wdrożyć i na nim bazować, zamiast zachęcać do zamykania się w sobie.

Studium przypadku: jak Filecoin ucieleśnia te cechy

Projekt Filecoin to zdecentralizowany system przechowywania zaprojektowany w celu spełnienia tych właściwości. Protokół Filecoin, opisany po raz pierwszy w 2014 r., został pierwotnie opracowany jako warstwa motywacyjna dla Interplanetary File System (IPFS), sieci pamięci masowej typu peer-to-peer. Podobnie jak IPFS, Filecoin jest protokołem otwartym i opiera się na właściwościach swojego starszego rodzeństwa, wykorzystując tę samą podstawową funkcjonalność peer-to-peer i adresowania treści.

Sieć węzłów Filecoin tworzy zdecentralizowany rynek pamięci masowej do wyszukiwania i przechowywania plików. Sieć opiera się na nowatorskim blockchainie, który rejestruje zobowiązania podjęte przez uczestników sieci. Użytkownicy dokonują transakcji w sieci, korzystając z natywnej kryptowaluty blockchain, FIL (⨎).

Rynek odzyskiwania

Na rynku wyszukiwania węzły zwane eksploratorami pobierania konkurują o jak najszybsze udostępnianie plików klientom. Górnicy wydobywający zdobywają nagrody dzięki niewielkim opłatom FIL. Daje to węzłom w kluczowych lokalizacjach dostarczania treści zachętę do przyłączenia się do sieci i sprzyja szybkiej dystrybucji plików. Zachęca także do stworzenia solidnej sieci, która replikuje i przechowuje pliki, na które jest duże zapotrzebowanie.

Rynek magazynowy

Na rynku pamięci masowej Filecoin węzły zwane górnikami pamięci masowej mogą konkurować pod względem różnych cech, takich jak cena i lokalizacja, w zakresie umów na zapewnienie klientom opieki nad plikami przez określony czas. Przed przyjęciem kontraktu górnicy muszą wpłacić zabezpieczenie FIL; służy to automatycznemu zwrotowi kosztów klientowi w przypadku, gdy górnik składujący nie wywiąże się ze swoich zobowiązań wobec klienta.

Kiedy górnik magazynujący i jego klient zawierają umowę, klient przesyła swoje dane do górnika magazynowego. Górnik zajmujący się przechowywaniem danych dodaje swoje dane do sektora , podstawowej jednostki przechowywania w Filecoin. Następnie górnik wykonuje wymagającą obliczeniowo operację zwaną uszczelnianiem , aby utworzyć unikalną kopię danych tego sektora.

Jeśli klient chce przechowywać wiele unikalnych kopii swoich danych, proces pieczętowania gwarantuje, że każda kopia będzie miała unikalny odcisk palca, a wysiłek obliczeniowy potrzebny do jego uzyskania zapobiegnie oszukiwaniu węzła poprzez ponowne wygenerowanie go z danych bazowych. Zapieczętowane dane są ostatecznie wykorzystywane do publikowania dowodu replikacji w łańcuchu bloków Filecoin.

Na czas trwania umowy dotyczącej składowania górnik zajmujący się składowaniem jest okresowo zobowiązany do przesyłania do łańcucha bloków tak zwanego dowodu czasoprzestrzeni . Górnik uzyskuje te dowody, korzystając z losowości (zapewnianej przez sam łańcuch bloków), zapieczętowanego sektora i dowodu replikacji opublikowanego w łańcuchu bloków. Dowody dostarczają klientowi silnego probabilistycznego argumentu, że górnik składujący posiadał kompletną, unikalną kopię danych. To bardzo silna gwarancja — czegoś, czego nawet nowi dostawcy usług przechowywania w chmurze nie zapewniają swoim klientom.

Klienci nagradzają kopaczy zajmujących się magazynowaniem Filecoin opłatami FIL płaconymi za transakcje . Górnicy zajmujący się przechowywaniem są również nagradzani możliwością wydobywania bloków dla blockchainu, co wiąże się zarówno z nagrodą FIL, jak i możliwością pobierania opłat transakcyjnych od innych, którzy chcą zawrzeć wiadomość w wydobywanych blokach.

System sprawdzający Filecoin oznacza, że górnicy potrzebują dodatkowego sprzętu, ale wymagania są nadal wystarczająco niskie, aby mogły dołączyć osoby obeznane z technologią. Wymagania sprzętowe umożliwiające uczestnictwo w sieci jako klient są skromne. Węzły Filecoin udostępniają również interfejs API do programowej interakcji z siecią, umożliwiając usługom stron trzecich budowanie w oparciu o podstawową funkcjonalność sieci.

Wynik

Zdecentralizowane przechowywanie stanowi atrakcyjną alternatywę dla tradycyjnego, scentralizowanego odpowiednika. Daje programistom szansę na poznanie zupełnie nowych obszarów przestrzeni kompromisów projektowych, podkreślając solidność i efektywność przechowywania i dostarczania treści. Filecoin pokazuje, że systemy te są w stanie zapewnić konkurencyjny produkt do przechowywania danych o kilku wysoce pożądanych właściwościach, dając większej liczbie osób niż kiedykolwiek możliwość pełnienia roli opiekunów naszego cyfrowego dziedzictwa, jednocześnie czyniąc sieć bardziej odporną i dostępną dla ludzi na całym świecie.

Artykuł ten zawiera łącza do witryn internetowych osób trzecich lub innych treści wyłącznie w celach informacyjnych („Witryny stron trzecich”). Witryny Osób Trzecich nie podlegają kontroli CoinMarketCap, a CoinMarketCap nie ponosi odpowiedzialności za zawartość jakiejkolwiek Witryny Strony Trzeciej, w tym między innymi za wszelkie łącza zawarte w Witrynie Strony Trzeciej ani za jakiekolwiek zmiany lub aktualizacje w Witrynie Strony Trzeciej. Strona imprezowa. CoinMarketCap udostępnia Ci te linki wyłącznie dla wygody, a załączenie jakiegokolwiek linku nie oznacza poparcia, zatwierdzenia lub rekomendacji strony przez CoinMarketCap ani żadnego powiązania z jej operatorami. Ten artykuł jest przeznaczony do użytku i należy go używać wyłącznie w celach informacyjnych. Przed podjęciem jakichkolwiek istotnych decyzji dotyczących któregokolwiek z opisanych produktów lub usług ważne jest przeprowadzenie własnych badań i analiz. Celem tego artykułu nie jest porada finansowa i nie należy jej interpretować jako porady finansowej. Poglądy i opinie wyrażone w tym artykule są poglądami autora [firmy] i niekoniecznie odzwierciedlają poglądy CoinMarketCap.

Ten artykuł spodobał się 9 osobom

Micha Wagnera

Jestem pełnoetatowym programistą i pisarzem w niepełnym wymiarze godzin, którego pasją jest szerzenie wiadomości i wiedzy o Web3.