To jest aktywny obszar badań. Tak się złożyło, że wykonałem trochę pracy w tej dziedzinie, więc podzielę się, co mogę, o podstawowym pomyśle (ta praca była z partnerami z branży i nie mogę ujawnić tajnych szczegółów :)).

Tl; dr polega na tym, że często można zidentyfikować zaszyfrowany strumień ruchu jako przenoszący wideo i często można oszacować jego rozdzielczość - ale jest to skomplikowane i nie zawsze dokładne. Wiele osób pracuje nad sposobami, aby to zrobić bardziej konsekwentnie i dokładniej.

Ruch wideo ma pewne cechy, które pozwalają odróżnić go od innych rodzajów ruchu. Tutaj odnoszę się konkretnie do wideo na żądanie, a nie do transmisji strumieniowej na żywo. Wideo na żądanie często nie ma tych tagów priorytetowych, o których mowa w tej odpowiedzi. Odnoszę się również konkretnie do wideo adaptacyjnego, co oznacza, że ​​wideo jest podzielone na segmenty (każdy o długości około 2-10 sekund), a każdy segment wideo jest kodowany na wielu poziomach jakości (poziom jakości oznacza: długoterminowy bitrate wideo, kodek, i rozdzielczość). Podczas odtwarzania wideo poziom jakości, przy którym następny segment jest pobierany, zależy od szybkości transmisji danych, którą według aplikacji może obsługiwać Twoja sieć. (To jest protokół DASH, o którym mowa w tej odpowiedzi).

Jeśli Twój telefon odtwarza wideo i patrzysz na (ważoną średnią ruchomą) przepływność danych przechodząc do telefonu, może to wyglądać mniej więcej tak:

(jest to przechwycone z sesji YouTube w sieci Verizon. Jest średnią ruchomą powyżej 15 sekund, a także średnią krótkoterminową.)

Ta sesja składa się z kilku różnych części:

Najpierw aplikacja wideo (odtwarzacz YouTube) próbuje wypełnić bufor do jego pojemności. W tym czasie pobiera dane z jakąkolwiek szybkością obsługiwaną przez sieć. Na tym etapie jest to w zasadzie nie do odróżnienia od pobierania dużego pliku, chyba że można wywnioskować, że jest to ruch wideo z adresu zdalnego (jak wspomniano w tej odpowiedzi).

Gdy bufor jest pełny, wtedy pojawiają się „serie” w dość regularnych odstępach czasu. Załóżmy, że twój bufor może pomieścić 200 sekund wideo. Gdy bufor zawiera 200 sekund wideo, aplikacja przestaje pobierać. Następnie po odtworzeniu fragmentu wideo (powiedzmy 5 sekund) w buforze jest znowu miejsce, więc pobierze następny segment, a następnie zatrzyma się ponownie. To właśnie powoduje ten pękający wzór.

Ten wzorzec jest bardzo charakterystyczny dla wideo - ruch z innych aplikacji nie ma tego wzorca - więc dostawca usług sieciowych może dość łatwo wybrać przepływy, które przenoszą ruch wideo. W niektórych przypadkach możesz nigdy nie zaobserwować tego wzorca - na przykład, jeśli wideo jest tak krótkie, że cała rzecz jest ładowana do bufora od razu, a następnie klient przerywa pobieranie. W takich okolicznościach bardzo trudno jest odróżnić ruch wideo od pobierania pliku (chyba że można to ustalić na podstawie adresu zdalnego).

W każdym razie, gdy już zidentyfikujesz przepływ jako przenoszący ruch wideo - albo przez adres zdalny (nie zawsze jest to możliwe, ponieważ główni dostawcy wideo używają sieci dystrybucji treści, które nie są wyłączne dla wideo) lub przez wzorzec ruchu (możliwe, jeśli sesja wideo jest długa, znacznie trudniejsza, jeśli jest tak krótka, że ​​ładuje się całe wideo) do bufora) ...

Teraz, jak powiedział Hector, możesz spróbować odgadnąć rozdzielczość na podstawie szybkości transmisji, patrząc na rozmiar (w bajtach) każda „seria” danych:

Na podstawie rozmiaru na czas trwania możesz rozsądnie oszacować rozdzielczość - zwłaszcza jeśli trzymasz średnią kroczącą.

Ale może to być trudne. Weźmy na przykład sesję YouTube:

• Nie wszystkie segmenty mają taki sam czas trwania - czas trwania żądanego wideo zależy od kilku czynników (poziom jakości, stan sieci, rodzaj urządzenia na którym odtwarzasz wideo i inne). Nie możesz więc koniecznie spojrzeć na „serię” i powiedzieć: „OK, to było X bajtów reprezentujących 5 sekund wideo, więc znam szybkość transmisji wideo”. Czasami możesz określić prawdopodobny czas trwania segmentu, ale innym razem jest to trudne.
• Dla danego poziomu jakości wideo i czasu trwania segmentu, różne segmenty będą miały różne rozmiary (w zależności od rzeczy, takich jak intensywność ruchu w tej części wideo).
• Nawet dla tej samej rozdzielczości wideo, długoterminowa szybkość transmisji danych może się różnić - wideo 1080p zakodowane za pomocą VP9 nie będzie miało takiej samej długoterminowej szybkości transmisji danych jak zakodowane z H.264.
• Poziom jakości wideo zmienia się w zależności od postrzeganej jakości sieci (która jest widoczna dla dostawcy usług sieciowych) i stanu bufora (który nie jest). Możesz więc spojrzeć na długoterminowe szybkości transmisji danych powyżej 30 sekund, ale możliwe jest, że rzeczywisty poziom jakości wideo zmienił się kilka razy w ciągu tych 30 sekund.
• W okresach, gdy bufor wyczerpuje się lub zapełnia tak szybko, jak (jeśli nie masz tych „serii”), znacznie trudniej jest oszacować, co się dzieje w filmie.
• Aby jeszcze bardziej skomplikować sprawę: czasami przepływ wideo będzie „rozłożony” na wiele przepływy niższych warstw. Czasami część wideo zostanie pobrana z jednego adresu, a następnie przełączy się na pobieranie wideo z innego adresu.

Ten wykres szybkości transmisji danych, który pokazałem powyżej? Oto jaka była rozdzielczość wideo w tym przedziale czasowym:

W tym przypadku kolor wskazuje rozdzielczość wideo. Więc ... możesz w pewnym sensie oszacować, co się dzieje, tylko na podstawie wzorców ruchu. Ale to trudny problem! W ruchu są inne znaczniki, na które możesz spojrzeć. Nie mogę definitywnie powiedzieć, jak robi to jeden usługodawca. Ale przynajmniej jeśli chodzi o akademicki stan wiedzy, nie ma sposobu, aby robić to z idealną dokładnością przez cały czas (chyba że współpracujesz z dostawcami wideo ...)

Jeśli chcesz dowiedzieć się więcej o technikach stosowanych w tego rodzaju problemach, istnieje wiele literatury akademickiej - zobacz na przykład BUFFEST: Przewidywanie warunków bufora i wymagań w czasie rzeczywistym protokołu HTTP (S) Adaptive Streaming Clients jako punkt wyjścia. (Nie mój artykuł - tylko taki, który ostatnio czytałem.)

Nic poza przesyłaniem strumieniowym wideo nie maksymalizuje przepustowości w stałym tempie.

Ponadto, aby upewnić się, że strumień jest obsługiwany z priorytetem (a nie jak na przykład pobieranie dużego pliku), źródła strumieniowe oznaczają pakiety w sposób, który informuje przewoźników, że strumieniuje wideo. Reszta pakietu jest zaszyfrowana, ale metadane, które informują dostawcę usług internetowych, jak go trasować, widzą tę część. Gdyby tego nie zrobili, istnieje duże prawdopodobieństwo, że transmisja zostanie przerwana lub zdegradowana, ponieważ dostawca usług internetowych próbował zrównoważyć wszystkie potrzeby ruchu sieciowego w tym czasie.

A oto jak Verizon powiedział, że to zrobią:

Verizon najwyraźniej nie będzie konwertować filmów do niższych rozdzielczości. Zamiast tego ustawi limit przepustowości, do którego aplikacje wideo będą musiały się dostosować. „ Zarządzamy przepustowością wideo HD, ustawiając prędkości nie większe niż 10 Mb / s , co zapewnia wideo HD z prędkością do 1080p” - powiedział Verizon Ars. Mb / s prawdopodobnie będzie niższy niż w przypadkach, gdy Verizon ogranicza wideo do 480p lub 720p.

Oznacza to, że zarówno abonent, jak i fakt, że ruch jest kształtowany w określony sposób, ponieważ jest to określony typ wideo, oznacza to, że jest otagowany.

Jak? Verizon ma system optymalizacji wideo, który, jak wykazano, ogranicza Netflix i YouTube do 10 Mb / s jeszcze przed ogłoszeniem nowych ograniczeń w sierpniu 2017 r.

Verizon przyznał, że używa nowego systemu optymalizacji wideo , ale powiedział, że jest to część tymczasowego testu i nie wpłynęło to na rzeczywistą jakość wideo. Wydaje się, że optymalizacja wideo ma zastosowanie zarówno do nieograniczonych, jak i ograniczonych planów mobilnych.

Jednak niektórzy użytkownicy YouTube zgłaszają zdegradowane wideo, mówiąc, że korzystanie z usługi VPN może ominąć ograniczanie przepustowości Verizon .

Wskazuje to na zdolność Verizon do identyfikowania strumieni wideo i odpowiedniego ograniczania przepustowości, nawet jeśli zawartość jest dostarczana przez HTTPS (ale nie VPN).

Schroeder ma prawie na pewno rację, ponieważ jest to tylko marketingowy sposób na powiedzenie, że ograniczają przepustowość do określonych adresów IP witryn lub szukają znaczników priorytetu na pakietach.

Warto jednak zauważyć, że teoretycznie istnieją sposoby, aby to działało lepiej, gdyby jedynym celem było zmuszenie użytkowników do określonej rozdzielczości podczas strumieniowego przesyłania wideo i nic więcej.

Obecnie większość strumieniowego przesyłania danych w Internecie wykorzystuje proces o nazwie DASH (Dynamic Adaptive Streaming over HTTP) . Sposób, w jaki to działa, polega na zażądaniu małego fragmentu wideo, pomiarze przepustowości podczas pobierania i wybraniu następnego fragmentu wideo przy rozdzielczości / schemacie kompresji, który pozwoliłby na odebranie go na czas do zakończenia pierwszego fragmentu grając.

Oznacza to, że w żądaniach znajdują się wskazówki dotyczące tego, co robi użytkownik. Jeśli Twoje urządzenie wysyła żądanie do witryny internetowej co 3 sekundy z żądaniem pliku, którego pobranie trwa niecałe 3 sekundy, istnieje bardzo duże prawdopodobieństwo, że witryna przesyła strumieniowo wideo. Na podstawie rozmiaru na czas trwania możesz rozsądnie oszacować rozdzielczość - zwłaszcza jeśli zachowujesz średnią kroczącą. Następnie możesz po prostu ograniczyć przepustowość do tego adresu IP.

Używając znanych adresów IP głównych dostawców wideo (googlevideo (youtube), Netflix itp.) W ważeniu decyzji, możesz uczynić algorytm bardziej agresywnym bez zbyt wielu fałszywych pozytywy.

Najważniejszy jest adres, z którym się łączysz. HTTPS chroni dane w locie, ale nie chroni adresu, z którym rozmawiasz. Jeśli Verizon zna adresy IP serwerów Netflix, może nałożyć ograniczenia na strumienie danych z tych adresów IP, które znajdują się w określonym zakresie. Następnie Netflix automatycznie dostosuje odtwarzanie w oparciu o dostępną przepustowość.

Ogólnie można to zauważyć, mając stałą szybkość transmisji danych, która jest mniejsza niż maksymalna możliwa. Prawdopodobnie oznacza to pewien rodzaj strumienia multimediów, chociaż może to być również transfer plików o ograniczonej przepustowości, więc wystąpiłyby fałszywe alarmy.

Uważam, że w szczegółach technicznych, o których wspomnieli, ogłaszając zmiany, planowali tylko użyć adresów IP do ustawienia limitów, ale nie jestem pewien, czy to się zmieni z czasem, czy nawet dobrze pamiętam, ponieważ minęło trochę czasu od ogłoszenia i nie robiłem notatek na moich oryginalnych badaniach na ten temat.

Jeśli korzystasz z (właściwej) sieci VPN, która ceni bezpieczeństwo / prywatność ponad wydajność, zastosuje ona szereg sztuczek, aby zmylić wszelkie próby pozytywnego zidentyfikowania Cię jako przesyłającego strumieniowo wideo przez dostawcę usług internetowych:

• Dostawca usług internetowych zobaczy, że łączysz się z adresem IP, który nie jest rozpoznawany jako część wideo CDN (np. Youtube itp.) - zakładając, że Twoja sieć VPN nie jest hostowana przez YouTube ani żadnego innego dużego dostawcę wideo. Więc przynajmniej nie będą w stanie pozytywnie zidentyfikować Twojego zdalnego punktu końcowego IP jako części wideo CDN. Uwaga: oczywiście mogliby zdecydować o ograniczeniu przepustowości, ponieważ to VPN, ale główni dostawcy na razie nie twierdzą wprost, że ograniczają VPN (więc byłoby to bardzo podstępne i uszeregowałoby amerykańskich dostawców usług internetowych pod względem tłumienia wolności słowa, podobnie jak w przypadku Wielkiej zapory ogniowej w Chinach).
• Dobra sieć VPN nie przesyła żadnych metadanych w sposób jasny (np. QoS), które wskazywałaby na charakter ruchu. Może to spowodować dziwne odwrócenie priorytetów (np. Pobieranie powodujące opóźnienia w VoIP w czasie rzeczywistym lub przesyłanie strumieniowe wideo), ale to cena, jaką płacisz za prywatność.
• W zależności od używanego protokołu wideo warstwy aplikacji , dla dostawcy usług internetowych byłoby trudne lub niemożliwe zidentyfikowanie ruchu jako wideo przy użyciu analizy kształtu ruchu. Na przykład, jeśli protokół określa, że ​​serwer powinien w trybie seryjnym wysyłać wideo z maksymalną dostępną przepustowością (szybkością linii), aby pobrać większość / całość wideo naraz, zamiast stopniowo przesyłać je z szybkością transmisji wideo, dostawca usług internetowych nie ma pojęcia, czy Pobierasz plik ISO systemu Linux, strumieniowe wideo od znanego dostawcy treści, takiego jak Youtube lub CBS, lub duży dokument Excel do pracy.
• Podczas gdy całkowita wielkość ruchu VPN będzie z grubsza odzwierciedlać faktyczne wysyłane / odbierane dane, dobre VPN przesyłają niepotrzebne dane (a nawet wprowadzają niewielkie opóźnienia w legalnym ruchu) w zaszyfrowanym tunelu, aby utrudnić analizę ruchu. Im bardziej Twoja sieć VPN wprowadza niepotrzebne dane i celowe opóźnienie, tym wolniejsza będzie Twoja sieć VPN, ale z drugiej strony poprawi bezpieczeństwo, jeśli ruch VPN będzie wysoce odporny na analizę kształtu ruchu.

Istnieją jednak pewne ograniczenia:

• Najłatwiejszym typem przesyłania strumieniowego wideo do analizy za pomocą analizy kształtu ruchu jest protokół, który ogranicza pobieranie wideo do szybkości transmisji wideo. Na podstawie szybkości transmisji mogą oszacować, jaka jest Twoja prawdopodobna rozdzielczość.
• Wideo „na żywo” (gdzie widz ceni sobie oglądanie treści wkrótce po ich wygenerowaniu) jest najtrudniejsze do ukrycia, ponieważ musisz transmitować z prędkością bliską szybkości transmisji wideo, aby zagwarantować dobrą responsywność; buforowanie i rozerwanie danych narzuca nieodłączne opóźnienie w strumieniu, którego użytkownik może nie uznać za akceptowalny (np. w przypadku wideokonferencji, Twitch.TV itp.)

Oczywiście, jako sposób upewniając się , że wideo nie może być przesyłane strumieniowo z wyższą jakością, dostawca usług internetowych może po prostu ograniczyć wszystko, co pobierasz, do dowolnej szybkości transmisji niższej niż prędkość linii - ale jest z tym wiele problemów:

• Nie ma ugruntowanej „typowej” szybkości transmisji wideo w określonej rozdzielczości, więc mogliby przyjmować założenia, ale byłyby to tylko założenia: założenia. W zależności od kodeka i ustawień kodowania, wideo 1080p może różnić się od małej jednocyfrowej Mbit / s do 50 Mb / s i więcej.
• To stałoby się skutecznym „dławieniem wszystkiego” i nigdy nie wąchałbyś maksymalnych reklamowanych prędkości, co prowadziłoby do potencjalnej fałszywej odpowiedzialności reklamowej, jeśli osiągasz znacznie mniej niż deklarowane prędkości minimalne / maksymalne i nie nadepnąłbyś na żadną minę że reklamują się jako wyzwalanie przepustnicy (np. typowy limit transferu danych wynoszący 22 GB / miesiąc w LTE).
• Jeśli mocno dławią wszystkich, otrzymają dużo sprzeciwu od legalnych użytkowników, którzy nigdy nie przesyłają strumieniowo wideo, ale jak wcześniej wspomniano, po prostu pobierasz duży plik Excel z pracy przez VPN lub cokolwiek innego.
• Wnioskując, że ruch może być wideo i decydując się na jego ograniczenie na podstawie że (nawet jeśli ich wnioski okażą się błędne), użytkownicy są bardziej skłonni postrzegać ich usługę jako wolną i anulować / przenieść się do innego dostawcy, ponieważ dostawca usług internetowych nie reklamuje, że ograniczają inne rodzaje ruchu oprócz wideo (chyba że przekraczasz określony limit miesięcznie lub zdarza się, że znajdujesz się na nasyconej wieży; jedno i drugie takich sytuacji można jednak dość łatwo wykluczyć jako klient).

Ogólnie rzecz biorąc, w wyścigu zbrojeń dostawców usług internetowych próbujących wykryć określone treści użytkowników i dyskryminujących na podstawie tego, co Ty są pobierane, użytkownik ostatecznie wygra, jeśli użyjesz dobrej sieci VPN (i zakładając, że dostawca usług internetowych nie ma możliwości złamania Twojej kryptografii). Dostawca usług internetowych nie będzie w stanie z całą pewnością wykryć, jakie są Twoje treści, a domysły nie będą z dużym prawdopodobieństwem trafne.

Myślę, że gdy użytkownicy zaczną to dostrzegać i podejmą środki, aby uniemożliwić dostawcom usług internetowych wykrywanie ich treści, dostawcy usług internetowych odpowiedzą, zmniejszając reklamowane prędkości dla wszystkich (aby umożliwić większej liczbie abonentów udostępnianie to samo dostępne widmo); podnoszenie cen; wyeliminowanie nieograniczonych planów danych (ponownie); zaostrzenie kar za ograniczanie przepustowości dla osób, które przekraczają arbitralny (dość niski) limit danych miesięcznie; lub celowe spowolnienie ruchu, którego nie mogą jednoznacznie zidentyfikować (na przykład ruchu VPN) i uzasadnienie tego jako „podejrzany”.

Mogą argumentować i przekonywująco wobec organów regulacyjnych, polityków i ignoranckiej opinii publicznej, że większość / cały ruch VPN to nielegalne pobieranie, nielegalny handel (narkotyki itp.), a ludzie próbujący „łamać zasady ”i pomiń ograniczenia ustawione przez dostawcę usług internetowych. Podczas gdy eksperci techniczni płakaliby okropnie, mamy tendencję do zagłuszania się przez tych, którzy są współwinni systemu i chętnie oszukają konsumenta, aby szybko zarobić.

Mogliby też zrobić wszystkie te rzeczy jednocześnie. Moje doświadczenie z branżą bezprzewodową w USA jest takie, że są gorsze, chociaż myślisz, że są złe. I zamiast wybierać tylko najbardziej łagodne środki zaradcze, mają tendencję do faworyzowania tych, które są maksymalnie wrogie wobec klientów, które tłumią wolność słowa i naruszają zasady neutralności sieci.

Mają również skłonność do spróbuj postawić użytkowników przeciwko sobie. Przyjmują zasady, które sprawiają, że użytkownicy obwiniają i nazywają innych użytkowników „świniami danych”, zamiast pracować razem jako grupa, aby wywierać nacisk na swojego dostawcę, aby rozbudował infrastrukturę w celu zaspokojenia popytu, zamiast próbować uszczuplić stado w celu dopasowania do aktualnie dostępnych zasobów.

Przypuszczam, że to po prostu ludzka natura - dlatego przemysł bezprzewodowy musi podlegać regulacji, jeśli chcemy, aby był spójnym, wartościowym elementem budulcowym społeczeństwa, takim jak energia elektryczna i bieżąca woda. Do tego czasu to tylko kolejna odmiana bizantyjskiego zastrzeżonego PSTN z czasów Ma Bell.

Verizon LITERALNIE nie rozpoznaje i nie blokuje zaszyfrowanego wideo HD ... ale ma umowy z serwisami takimi jak Netflix i Youtube, które wymagają OD NICH rozpoznawania zakresów adresów IP Verizon & przestrzega wszelkich ograniczeń nałożonych przez Verizon.

W przypadku mniejszych usług, uważam, że Verizon ma do dyspozycji drugą broń ... Jestem prawie pewien, że gdzieś w umowie obsługi klienta dotyczącej „nieograniczonych” planów znajduje się klauzula, która pozwala Verizon liczyć „nieprzezroczysty” zaszyfrowany ruch w miesięczny limit „tetheringu” użytkownika. Tak więc Verizon może nie wiedzieć (lub przejmować się), że przesyłasz strumieniowo wideo HD do telefonu przez cały dzień z kamer bezpieczeństwa w domu, ale MOGĄ policzyć ruch w ramach miesięcznego limitu 5 lub 10 GB (lub ograniczyć go do 150 kb / s, jeśli masz plan nie obejmuje tetheringu).

Nie jestem pewien, czy tak jest w Twoim przypadku, ale czasami dostawcy używają serwera proxy. Można to ustawić automatycznie, gdy korzystasz z ich sieci (OTA). Serwer proxy ma ważny certyfikat, ponieważ pochodzi od dostawcy. Jeśli tak, mogą po prostu odczytać cały ruch HTTPS i użyć oprogramowania do kształtowania ruchu. W takim przypadku VPN pomogłaby.

Więc dostawca automatycznie ustawia APN na Twoim urządzeniu mobilnym. Ruch internetowy jest przesyłany z urządzenia mobilnego do APN. Dostawca może używać dowolnego komercyjnego oprogramowania do kształtowania ruchu do sterowania strumieniowaniem wideo (z FB / YT / itp.) Nawet jeśli połączenie jest szyfrowane, ze sposobu działania buforowania można zobaczyć, jaka rozdzielczość wideo jest używana, fragmenty filmów pobierają fragmenty, które tworzą docelowy wzór. Więc jeśli te fragmenty staną się większe, rozdzielczość wideo jest wyższa, dzięki oprogramowaniu do kształtowania ruchu prawdopodobnie możesz regulować te wzorce pobierania. Podczas korzystania z VPN dostawca nie może określić, jakie dane są przesyłane przez VPN. Nadal mógł zobaczyć wzór fragmentu, ale ograniczenie wszystkich danych przez VPN spowodowałoby niższą całkowitą prędkość pobierania i zakładam, że jest to niezgodne z uzgodnioną prędkością wymienioną w umowie.

Dodatek: Twój telefon łączy się z APN. Ten APN może działać jak serwer proxy i ma już ważny certyfikat (więc go nie instalujesz). Twój telefon zaakceptuje certyfikat jako ważny, tak jak powinien. W przypadku, gdy działa jako serwer proxy, dostawca nie jest zatrzymywany przez szyfrowanie HTTPS, serwer proxy jest wymagany, aby wyświetlić wszystkie żądania. W takim przypadku dostawca może zrobić wszystko z Twoją prośbą lub z otrzymanymi danymi. Dostawca może na przykład mieć uruchomione oprogramowanie do optymalizacji / kompresji wideo przed wysłaniem go z serwera proxy z powrotem do telefonu, aby zaoszczędzić bandwitdh.