Internettoepassingen architectuur en technologie - Algemene

Document Sample
Internettoepassingen architectuur en technologie - Algemene Powered By Docstoc
					Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005




                       Contentnetwerken


                        Multimediatechnieken

                         Prof. Peter De Neve
                       academiejaar 2004-2005




                                                1
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                      Inhoud van de les

                       • Het klassieke Internetmodel
                       • Data- en contentswitching
                       • Contentnetwerken
                          o Waarom en voordelen

                          o Verschillende types afhankelijk van de eigenaar

                              • Netwerkoperatoren
                              • Contentleveranciers
                              • Gebruikers
                       • Case study
                          o Akamai




                                                                              2
                                  Multimediatechnieken
                                      Rik Van de Walle
                                    Gent, Januari 2005




    Het klassieke Internetmodel




3
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                      World Wide Web

                       • URL
                          o Beperking

                             • URL-verwijzing naar pagina bevat altijd
                               verwijzing naar host
                             • URL wijst slechts naar 1 host
                             • soms wenselijk (vaak geraadpleegde data):
                               gebruik van spiegels ("mirrors")
                             • probleem: hoe spiegelversies beheren ?
                               (behoud van dataconsistentie)




                                                                           4
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Het klassieke Internetmodel - Beschrijving

                       • Huidige Internetarchitectuur is gebaseerd op het
                         “end-to-end” principe
                          o Om functionaliteit tussen client en server te

                            garanderen moet alles in de hosts worden
                            uitgevoerd, niet in het tussenliggende netwerk
                          o Transport- en applicatielaag worden enkel

                            aangesproken in client en server
                          o In het netwerk zelf wordt de TCP/IP stack slechts

                            tot op laag 3 opgebouwd (routing)




                                                                                5
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005




                       Data- en contentswitching


                         In deze context beperkt tot de
                       zogenaamde layer 4 en 7 switching




                                                           6
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                         Layer 4 switching – Algemeen principe
                       • Layer 4 = transportlaag (TCP of UDP)
                       • De switch voert een “content-blind routing” uit, ook wel
                         “immediate binding” genoemd
                          o Switch doet zich voor als de eindserver (end-host) bij

                            aankomst van het eerste TCP SYN pakket
                          o Switch gebruikt informatie uit de transportlaag om

                            traffiek gericht te switchen/routeren (+ binding table)
                          o Efficiënte routering, maar niet voor het dispatchen

                            van content (geen kennis van de HTTP content die
                            de client aanvraagt)
                          o In de transportlaag wordt de poort informatie gebruikt

                            om bepaalde applicaties te identificeren (TCP poort
                            80 voor HTTP, TCP poort 20/21 voor FTP, …)



                                                                                      7
    Multimediatechnieken
        Rik Van de Walle
      Gent, Januari 2005
            Layer 4 – TCP connectie




8
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Layer 4 switching – Voorbeeld


                              HTTP
                                                          FTP
                                                         server
                        FTP


                                Internet
                                                       Web server
                       SMTP                Layer 4
                                            switch


                                                         SMTP
                                                         server
                               HTTP




                                                                  9
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                         Layer 7 switching – Algemeen principe
                       • Layer 7 = applicatielaag (bv. HTTP)
                       • De switch voert een “content-aware routing” uit, ook
                         wel “delayed binding” genoemd
                          o Switch doet zich eveneens voor als de eindserver

                            maar zet een complete TCP-connectie op met
                            client (3-way handshake)
                          o Client pakketten worden door de switch dus

                            ontleed tot in de applicatielaag en dan afgeleid
                            naar server
                          o Minder snelle routering wegens ontleding tot op

                            layer 7
                          o Uitstekende kennis voor het dispatchen van

                            content want kennis van de HTTP content die de
                            client aanvraagt


                                                                                10
     Multimediatechnieken
         Rik Van de Walle
       Gent, Januari 2005
             Layer 7 – TCP connectie




11
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Layer 7 switching – Voorbeeld



                                                                  Web server
                                                                 sports.site.org



                           Internet
                                                                   Web server
                                                Layer 7           news.site.org
                                               web switch
                                          IP: 212.100.190.238

                                                                  Web server
                                                                  www.site.org

                                      In DNS (voorbeeld)
                                      212.100.190.238    A      sports.site.org
                                      212.100.190.238    A      news.site.org
                                      212.100.190.238    A      www.site.org 12
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                               Contentswitching apparatuur
                       • Vaak wordt er geen onderscheid gemaakt in
                         “Layer 4” and “Layer 7” switches omdat de meeste
                         apparatuur beide aankan
                          o Deze switches worden “contentswitches” genoemd

                          o Ook aangeduid als “Layer 4-7 switches”

                       • De pioniers in content switches
                          o Nortel Networks (Alteon WebSystems)

                          o Cisco Systems

                          o F5 Networks

                          o Foundry networks

                          o Extreme Networks

                       • Connectiviteit op basis van Ethernet poorten, deze
                         switches bevatten typsich geen interfaces om WAN
                         technologie connecties te termineren
                         ATM, G.SHDSL, E1, MFE1, ...
                                                                              13
                        Multimediatechnieken
                            Rik Van de Walle
                          Gent, Januari 2005




     Contentnetwerken




14
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                      Contentnetwerken

                       • Laatste jaren: groeiende interesse
                       • Diverse systemen en technologieën mogelijk
                       • Hebben allemaal het volgende doel
                          Mogelijkheid om gebruikers toegang te verlenen tot
                          bepaalde objecten op een locatie-onafhankelijke
                          manier
                       • Betekent een fundamenteel verschillende manier
                         van communicatie op het Internet
                       • URL’s zijn niet geschikt om objecten te identificeren
                         die op verschillende locaties in het netwerk
                         beschikbaar zijn
                       • Objecten op verschillende locaties publiceren door
                         replicatie van data


                                                                                 15
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                            Motivatie

                       • Oplossing vinden voor opstoppingen (congestion)
                         van IP-lijnen (vooral accesslijnen) op het Internet
                       • Webservers raken soms overbelast door een
                         overvloed aan requests
                       • Directe communicatie met de originele servers kan
                         resulteren in bepaalde vertragingen
                       • Bescherming tegen “flash crowds” : vaak is content
                         heel populair op een korte tijdspanne
                          o Bv. Verkiezingsuitslagen, film trailers, breaking

                            news, 9/11, Columbia accident, …
                       • Noodzaak om content te distribueren op basis van
                         geografische locatie
                          o Voorbeeld: CNN specifieke servers in Europa voor

                            het Europese nieuws, specifieke servers in US
                            voor het lokale (domestic) nieuws
                                                                                16
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                               Er zijn vier mogelijke punten van opstopping
                                         (congestion) op het Internet

                          1.   Internet acceslijn gebruiker
                          2.   Het netwerk van een ISP (backbone)
                          3.   Peering punten (interconnecties tussen ISP’s)
                          4.   Internet acceslijn en belasting web server



                                                               ISP3
                                                               3               4
                                       ISP1
                                              3
                               1                          2
                                                                                    web
                                                        ISP2                       server

                       Gebruiker
                                                                                        17
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       1. Internet toegangslijn van de gebruiker

                       • Diverse technologieën voor toegang (access)
                          o   Dial-up, xDSL, kabelmodem, gehuurde lijnen
                          o   Fysische drager kan sterk verschillen (koper, glasvezel, …)
                       • Diverse capaciteiten zijn beschikbaar
                          o   Al dan niet gegarandeerd met een Service Level
                              Agreement (SLA)
                          o   Al dan niet verschil tussen “download” en “upload”
                              capaciteit
                       • Aantal gebruikers en soort traffiek op de lijn is heel
                         belangrijk
                       • Prioritisatie van bepaalde toepassingen soms
                         mogelijk en noodzakelijk (HTTP server traffiek, VoIP,
                         Citrix, …)
                          o   Quality of Service (QoS) – bv. Diffserv (Differentiated
                              Services) -> aan de hand van de TOS byte in de header
                              van een IPv4 pakket
                                                                                            18
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                         2. Het netwerk van de ISP - Algemeen

                       • Voldoende bandbreedte moet aanwezig zijn
                       • Cruciale parameters voor de kwaliteit van het ISP
                         netwerk zijn:
                          o Vertragingen (delay, latency, round-trip times) tussen

                            de verschillende netwerkelementen
                          o Jitter (delay variation): bv. VoIP toepassingen zijn hier

                            zeer gevoelig voor
                          o Pakketverlies (packet loss) typisch uitgedrukt in %

                       • Een goed ISP-netwerk is steeds gelaagd
                          o Hiërarchische structuur met goed-gedefinieerde lagen

                            (elke laag heeft zijn eigen functie en eigenschappen)
                          o Doel is zo efficiënt mogelijke routeringspaden en dus

                            snelle doorstroming van IP-pakketten te garanderen
                          o Vergelijkbaar met de “geheugenpiramide” in

                            computerarchitectuur
                                                                                        19
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Het netwerk van de ISP (Voorbeeld UUNET)

                        •   Hoofzakelijk een 3-lagig hiërarchisch model

                             o   Edge laag
                                  • Dit is de laag waarin alle klanten worden aangesloten
                                  • Entry point in het netwerk
                                  • Typische eigenschap: veel aansluitingen (dus veel
                                    routering) van beperkte capaciteit
                             o   Metro laag
                                  • Dit is de eerste laag van de “backbone” of “core” van het
                                    netwerk
                                  • Typische eigenschap: minder connecties, vertegenwoordigt
                                    lokale traffiek (bv. binnen België), middelmatige capaciteit
                             o   Transit laag
                                  • Dit is de tweede laag van de “backbone” of “core” van het
                                    netwerk en verzorgt capaciteit naar de rest netwerk/Internet
                                  • Bijna geen routering (alles is al geaggregeerd in grote IP-
                                    adresblokken), pure switching, zeer hoge capaciteiten


                                                                                                   20
    Multimediatechnieken
        Rik Van de Walle
      Gent, Januari 2005
                           Het netwerk van de ISP (Voorbeeld UUNET)

                            Transit
              (2.4 - 10 Gbps)




                            Metro
      (155 - 622 Mbps)



                            Edge
(64 kbps - 155 Mbps)




                                               Klanten
                                                                      21
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                           3. Peering punten
                       Directe peering



                                    ISP1                       ISP2




                       Via een Internet Exchange (bv. BNIX in België)

                                                   BNIX
                                                                        ISP2
                             ISP1




                                                  ISP3


                                                                               22
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                          4. Internet toegangslijn van de server

                       • Is qua problematiek van verzadiging identiek aan
                         punt 1 (Internet toegangslijn van de gebruiker)
                       • Additioneel moet er hier vooral rekening gehouden
                         worden met upload traffiek, ttz. content die in de
                         richting van het Internet vloeit
                          o Hoeveel simultane connecties naar een webserver

                             wil men toelaten
                          o Gemiddelde grootte van de webobjecten, structuur

                             van de websites (qua grootte in bytes)
                          o Moeten nog andere protocollen dan HTTP

                             geprioritiseerd worden (bv. applicaties voor remote
                             beheer)
                          o Belasting van de webserver




                                                                                   23
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                             Contentnetwerk: de oplossing?

                       • Congestion op de accesslijn (pijnpunt 1) van de
                         gebruiker kan niet worden aangepakt, enkel
                         gebruiker heeft hierover zelf de controle
                       • Contentnetwerken kunnen tot op zekere hoogte wel
                         de pijnpunten 2, 3, 4 reduceren door
                          o Content zo dicht mogelijk bij de gebruikers te

                            brengen, namelijk op de rand (edge) van het ISP
                            netwerk (pijnpunt 2)
                          o Content verspreiden over verschillende ISP’s

                            (pijnpunt 3)
                          o Belasting van de web server te verminderen door

                            content te spreiden over meerdere servers of over
                            diverse accesslijnen (pijnpunt 4)



                                                                                24
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                  Contentnetwerken: Doel

                       • Beheren van replicatie van content door middel van
                         de volgende 2 taken

                       • Distributie
                          o Garandeert het kopiëren en synchroniseren van

                            van (een) object(en) van een originele server naar
                            diverse replica servers
                       • Redirection (herroutering)
                          o Laat gebruikers toe om het object te vinden, liefst

                            op de server die zich het “dichtst” bij hen bevindt
                          o “dichtst” in Internetterminologie (volgt niet

                            noodzakelijk geografische logica), is combinatie
                            van
                              • Minimaal aantal hops
                              • Minimale latency
                                                                                  25
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Elementen van een contentnetwerk

                                              Master
                                              server




                       Replica      Replica                Replica
                       server       server                 server
                                                       ?




                                     Client
                                                                     26
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                           Classificatie

                       •   Verschillende manieren om contentnetwerken te
                           classificeren
                           o   Lokale / Globale distributie applicatieservers
                           o   DNS-gebaseerde / Applicatieserver gebaseerde
                               routeringsmechanismen
                           o   …
                           o   Op basis van wie de eigenaar is van het
                               contentnetwerk en het beheert (deze les)
                                1. Contentnetwerken beheerd door de
                                    netwerkoperatoren (ISP’s)
                                2. Contentnetwerken beheerd door de
                                    contentleveranciers
                                3. Contentnetwerken beheerd door de
                                    gebruikers

                                                                                27
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                         1. Contentnetwerken beheerd door de
                                  netwerkoperatoren
                       • Netwerkoperatoren = Internet Service Providers
                         (ISP’s)
                       • Maken gebruik van caching proxies om bandbreedte
                         (en dus cost!) in de backbone te besparen (is minder
                         een issue nu dan in de jaren ’90 – grote prijserosie)
                       • Proxies kunnen
                          o Recursief gebruikt worden, betekent dat ze gebruik

                            kunnen maken van ouderproxies indien nodig
                          o Hiërarchische boomstructuur van proxies kan worden

                            opgebouwd
                              • Voor aanvraag van minder populaire objecten zal
                                ongetwijfeld vertraging optreden
                              • Werkt niet ideaal als de originele servers niet dicht
                                zitten bij de proxies uit de boomstructuur

                                                                                        28
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                Modellen voor webcaching

                       • Explicit caching
                          o Het gebruik van proxies kan vrij door de gebruiker

                            bepaald worden in de browser (aan/uit)
                          o Moet ondersteund worden door de ISP

                       • Forced explicit caching
                          o Sommige ISP’s forceren het gebruik van proxies bij

                            hun klanten
                          o HTTP-traffiek wordt niet doorgelaten indien het geen

                            proxy server van de ISP passeert (typisch blokkeren
                            op TCP poort 80 naar andere dan IP-adressen proxy)
                       • Transparent caching
                          o Traffiek naar TCP poort 80 kan door de ISP worden

                            afgeleid naar een proxyserver zonder expliciete
                            configuratie in browser van de gebruiker

                                                                                   29
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                        Algemeen principe van gebruik proxyserver




                       Client




                                             Ingeval van een “cache miss”
                                             TCP: CONNECT www.site.org
                                             HTTP: GET index.html



                                                                            Content
                                   Caching                                  server
                                    server


                                                                                      30
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                              Squid

                       • Squid caching proxy (www.squid.org)
                          o Werkt op basis van hiërarchische boomstructuur

                          o Moeder proxy zal een query lanceren op basis van

                            de domeinnaam van de gekozen URL
                             • Matchen met lijsten van URL’s in de proxy
                               boomstructuur
                             • Eventueel direct aan originele server vragen
                          o Configuratie is omvangrijk

                          o Niet triviaal omdat domeinnamen niet noodzakelijk

                            overeenkomen met de netwerktopology
                             • Is zelfs bijna nooit het geval
                             • Geen relatie tussen de IP-adresblokken in de
                               IPv4 adresruimte en de erin gebruikte
                               domeinnamen)

                                                                                31
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Web Cache Communication Protocol (WCCP)

                        • Proxies moeten door gebruikers ingesteld worden in
                          hun browsers
                        • Om configuraties of problemen met configuraties te
                          vermijden, kan men gebruik maken van
                          zogenaamde interception of redirection proxies
                           o Maakt gebruik van transparent caching

                           o Netwerkelementen (routers) geconfigureerd met

                             WCCP zullen HTTP-traffiek afleiden naar proxy
                             servers zonder dat de gebruikers dit merken
                           o Volledige transparantie voor de gebruikers

                           o WCCP bevat ook een fail-safe mechanisme:

                             betekent dat als de web cache niet bereikbaar is,
                             er geen afleiding van HTTP traffiek gebeurt naar
                             de web cache

                                                                                 32
     Multimediatechnieken
         Rik Van de Walle
       Gent, Januari 2005
             Web Cache Communication Protocol – Figuur




33
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                           2. Contentnetwerken beheerd door de
                                    contentleveranciers
                       • Contentleveranciers zijn organisaties die grote
                         hoeveelheden content publiceren op het Internet
                          o Voorbeeld: CNN, Yahoo!, …

                       • Drijfveer voor contentleveranciers
                          o Content zo wijd mogelijk beschikbaar stellen bij de

                             gebruikers
                          o Controle houden over de content

                          o Zonder al te zware investeringen te doen in

                             netwerken en bandbreedte
                       • Opdeling
                          o A. Lokale server topologieën

                               A.1 Clustergebaseerd websysteem (webcluster)
                               A.2 Gedistribueerd websysteem
                          o B. Mirror sites

                          o C. Content-Delivery netwerken (CDN)
                                                                                  34
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                               A. Lokale server topologieën

                       A.1 Webclusters
                           o De contentservers maskeren hun IP-adressen voor

                             de clients
                           o De client ziet 1 “virtual IP” (VIP) adres dat

                             gerelateerd is aan een device vóór de
                             contentservers
                           o Device: “contentswitch”, ook “webswitch” genoemd

                             (Layer 4 of Layer 7)




                                                                                35
     Multimediatechnieken
         Rik Van de Walle
       Gent, Januari 2005
             Webclusters - illustratie




36
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                               A. Lokale server topologieën

                       A.2 Gedistribueerde web systemen
                           o De contentservers tonen hun IP-adres aan de

                             clients
                           o Sturing gebeurt niet vanuit een contentswitch




                       • In lokale server topologieën komt A.1 het vaakst
                         voor, A.2 is ouder qua technologie en komt vaker
                         voor bij geografisch verspreide web server systemen
                         (vooral bij DNS-gebaseerde routering)




                                                                               37
     Multimediatechnieken
         Rik Van de Walle
       Gent, Januari 2005
             Gedistribueerde websystemen - illustratie




38
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                       A.1 Webclusters

                       • Gebaseerd op
                          o Layer 4 switching

                          o Layer 7 switching



                       • EN

                       • Gebaseerd op client/server dataflow
                         (vooral dan wat betreft het terugkeerpad)
                          o One-way architectuur

                              • De contentserver antwoordt direct
                                naar de client
                          o Two-way architectuur

                              • De contentserver antwoordt aan de
                                contentswitch, die vervolgens
                                antwoordt aan de client
                                                                     39
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                   A.1 – Taxonomie voor webclusters




                       Twee aspecten zijn belangrijk:                  Bepalen hoe de request bij de
                                                                       contentserver(s) terechtkomt
                       A.1.1 Routeringsmechanismen
                                                                       Bepalen bij welke content
                       A.1.2 Dispatching algoritme voor de selectie    server de request terechtkomt
                            van de beste server (bv. load balancing)
                                                                                                       40
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.1 – Oplossingen op basis van Layer 4 switches
                                    (two-way architecturen)




                                                                           41
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.1 – Oplossingen op basis van Layer 4 switches
                                    (two-way architecturen)

                        • Packet double-rewriting is gebaseerd op Network
                          Address Translation (NAT)
                           o Zowel voor ingaande als uitgaande pakketten moet

                             de TCP en IP header worden herschreven +
                             checksum herberekenen
                              • Ingaand
                                  – Web switch herschrijft het publieke IP-
                                    adres naar het private IP-adres van de
                                    content server
                              • Uitgaand
                                  – Pakketten van de content server naar de
                                    client passeren terug de web switch
                                  – Web switch herschrijft het bronadres van
                                    het private IP-adres naar het publieke van
                                    de web switch
                                                                                 42
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.1 – Oplossingen op basis van Layer 4 switches
                                    (one-way architecturen)




                                                                           43
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.1 – Oplossingen op basis van Layer 4 switches
                                    (one-way architecturen)

                        • Packet single-rewriting
                           o   Web switch vervangt het VIP adres door IP adres van de
                               contentserver + herberekent IP en TCP checksum
                           o   De contentserver antwoordt rechtstreeks aan client maar gebruikt
                               als bron IP-adres het VIP-adres


                        • Packet tunneling (ook IP encapsulation)
                           o   Techniek om een IP datagram te encapsuleren in een ander IP
                               diagram
                           o   Webswitch tunnelt het inkomende pakket naar de contentserver
                               door het te encapsuleren in een nieuw IP datagram (met bron IP =
                               VIP en destinatie IP = IP contentserver)
                           o   Contentserver stript het IP datagram eraf en ziet dat het pakket
                               origineel bestemd was aan het VIP-adres
                           o   Contentserver antwoordt rechtstreeks aan de client maar gebruikt
                               als bron IP-adres het VIP adres



                                                                                                  44
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.1 – Oplossingen op basis van Layer 4 switches
                                    (one-way architecturen)
                        • Packet forwarding
                           o   Het VIP adres wordt gedeeld door de webswitch en de
                               contentservers door het gebruik van primaire en
                               secundaire IP-adressen
                           o   Contentservers hebben een primair IP-adres en als
                               secundair IP-adres het VIP-adres (bv. via loopback
                               interface)
                           o   ARP mechanisme moet worden uitgeschakeld op de
                               contentservers
                           o   Packet forwarding gebeurt doordat de web switch in het
                               inkomende pakket het MAC-adres vervangt door dat van
                               de contentserver
                           o   Er gebeurt dus een transformatie op layer 2 niveau, “MAC
                               address translation”
                           o   Wanneer de contentserver het pakket ontvangt ziet het
                               eruit als een pakket voor zichzelf, aangezien hij het VIP-
                               adres deelt
                           o   De contentserver kan rechtstreeks antwoorden aan de
                               client zonder modificatie van het IP datagram
                                                                                            45
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.1 – Oplossingen op basis van Layer 7 switches
                                    (two-way architecturen)




                                                                           46
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.1 – Oplossingen op basis van Layer 7 switches
                                    (two-way architecturen)

                        • TCP gateway
                           o   Webswitch bevat een applicatielaag proxyserver die alle
                               binnenkomende connecties accepteert
                           o   De proxyserver onderhoudt “TCP persistent” connecties met
                               alle contentservers
                           o   Proxyserver stuurt de client request door naar de contentserver
                               via de “TCP persistent” connectie
                           o   Het antwoord komt via de “TCP persistent” connectie terug bij
                               webswitch die het doorstuurt naar de client
                           o   Eenvoudige techniek (“TCP persistent” sessies kunnen want
                               alles staat lokaal)
                           o   Grootste nadeel: Zowel de inkomende als uitgaande data flows
                               lopen via de webswitch op applicatielaagniveau


                        • TCP splicing
                           o   Cfr volgende slide(s)


                                                                                                 47
     Multimediatechnieken
         Rik Van de Walle
       Gent, Januari 2005
             TCP splicing (I)




48
     Multimediatechnieken
         Rik Van de Walle
       Gent, Januari 2005
             TCP splicing (II)




49
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.1 – Oplossingen op basis van Layer 7 switches
                                    (one-way architecturen)




                                                                           50
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.1 – Oplossingen op basis van Layer 7 switches
                                    (one-way architecturen)

                        • TCP handoff
                           o   Client heeft sessie opgezet met webswitch
                           o   Op moment dat web switch de contentserver heeft gekozen ->
                               “handoff” van de TCP connectie
                           o   Het “handoff” algoritme is actief tussen transport- en
                               applicatielaag en impliceert veranderingen in de
                               besturingssytemen van de beide componenten (nadeel !)
                           o   Het mechanisme blijft transparant voor de client


                        • TCP connection hop
                           o   Is een proprietary oplossing van het bedrijf Resonate
                           o   Op moment dat web switch de contentserver heeft gekozen ->
                               webswitch “hopt” de TCP connectie naar de contentserver
                           o   Gebeurt door het encapsuleren van het IP-pakket in een RPX
                               pakket (proprietary)
                           o   Het mechanisme blijft transparant voor de client (ook voor
                               acknowledgement informatie verstuurd door de client)

                                                                                            51
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.2 Dispatching algoritmes voor web clusters
                         •   Gebaseerd op
                             o    Layer 4 switches (content-blind dispatching)
                             o    Layer 7 switching (content-aware dispatching)

                         •   EN
                         •   Gebaseerd op
                             o    Statische algoritmes
                                   • Snelste oplossing om bottlenecks in de web switch
                                      te vermijden
                                   • Houden geen rekening met de actuele status van de
                                      webservers
                             o    Dynamische algoritmes
                                   • Presteren beter dan statische algoritmes door het
                                      nemen van intelligente beslissingen
                                   • Het capteren en analyseren van status informatie
                                      van de webservers zorgt voor een niet te
                                      verwaarlozen overhead op de performantie van de
                                      webswitch


                                                                                         52
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.2 - Oplossingen op basis van Layer 4 switches
                                      (statische algoritmes)
                        • Willekeurig (Random)
                           o Verdeelt de binnenkomende aanvragen uniform met
                              een gelijke probabiliteit over de verschillende
                              webservers
                        • Round Robin (RR)
                           o Gebruikt een circulaire lijst en een pointer die verwijst
                              naar de laatst geselecteerde webserver om een
                              beslissing te maken
                        • Statische Weighted Round Robin (voor heterogene
                          webservers)
                           o Een variatie op RR, waarbij elke server een bepaald
                              gewicht krijgt toegekend, afhankelijk van zijn capaciteit
                           o Merk op: capaciteit is een instelbare maar statische
                              parameter voor een server (niet real-time)



                                                                                      53
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.2 - Oplossingen op basis van Layer 4 switches
                                    (dynamische algoritmes)
                        •   Afhankelijk van de client
                             o Statische partitionering van de webservers
                             o   Elke server krijgt een groep van clients toegewezen
                                 (groepen op basis van bv. client IP-adres)
                        •   Afhankelijk van de server status
                             o   De server met de actueel laagste belasting (op basis van
                                 welke parameter? Welke index?)
                             o   De server met het actueel minst aantal actieve
                                 connecties
                             o   De server met de actueel snelste response tijd
                             o   Dynamische Weighted Round Robin
                                  • Variatie van statische weighted RR, waarbij elke web
                                     server nu een dynamisch gewicht krijgt toegekend
                                     evenredig met zijn capaciteit (volgens het platform)
                                     en de belasting van de server op dat moment


                                                                                            54
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.2 - Oplossingen op basis van Layer 4 switches
                                    (dynamische algoritmes)
                        • Afhankelijk van de client en server status
                           o Combinatie van client informatie en server status
                             informatie resulteert in een bepaalde client affiniteit
                           o In plaats van elke nieuwe connectie naar een
                             webserver enkel toe te kennen op basis van de
                             server status en niet op basis van vorige assignaties
                               • Opteren om opeenvolgende connecties van
                                 dezelfde client door dezelfde webserver te laten
                                 behandelen
                               • Voorbeeld: Omwille van performantieredenen,
                                 opeenvolgende SSL connecties van dezelfde
                                 client door dezelfde server te laten behandelen
                                 gedurende de geldigheidsduur van de SSL sleutel
                                 (vermijden van sleutelcreatie en negotiatie)
                               • Ander voorbeeld: FTP connecties (gebruiken 2
                                 TCP poorten)

                                                                                       55
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.1.2 Oplossingen op basis van Layer 7 switches
                                  (dynamische algoritmes)

                       • Een grote diversiteit aan zeer gespecialiseerde
                         oplossingen op basis van client info, server status of
                         combinatie van beide
                       • Afhankelijk van de client
                          o Bv. Service partitioning = Web servers

                            segmenteren naar types van aanvraag
                            (dynamische inhoud, statische beelden, video, ...)
                       • Afhankelijk van de server status
                          o Bv. Web switch bepaalt de grootte van het

                            gevraagde object en en selecteert de web server
                            op basis hiervan (elke server krijgt evenveel
                            bandbreedte traffiek)
                       • Afhankelijk van de client en server status


                                                                                  56
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                           A.2 Gedistribueerde web systemen

                       • DNS-gebaseerde routeringsmechanismen
                          o Origineel ontworpen voor lokaal gedistribueerde

                            websystemen, maar tegenwoordig meer gebruikt in
                            geografisch gedistribueerde websystemen (cfr.
                            CDN’s)
                       • Webserver gebaseerde routeringsmechanismen
                          o Routering en eventuele verwijzingen gebeuren op

                            de contentserver

                       • Dispatching voor gedistribueerde websystemen is
                         geen apart topic want is geïntegreerd in de
                         routeringsmechanismen




                                                                              57
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.2 - Oplossing op basis van DNS-gebaseerde
                                  routeringsmechanismen

                       • Treedt in werking tijdens de DNS-lookup fase bij het
                         begin van de websessie
                       • Mapping naam website en IP-adres contentserver
                       • De authorative DNS server voor de zone waartoe
                         de hostnaam van de website behoort
                          o Selecteert een verschillende server (A-records)

                             voor elke lookup die het moet beantwoorden
                          o Antwoordt met een paar (IP-adres, TTL)

                              • IP-adres van één van de content servers
                              • Time-To-Live (TTL) record dat bepaalt hoelang
                                de caching DNS server deze informatie bijhoudt
                       • Pas op met adres caching in de caching DNS-
                         servers, leggen een hypotheek op dit mechanisme
                          -> Enige oplossing is te werken met heel lage TTL’s

                                                                                 58
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.2 - Oplossing op basis van web server gebaseerde
                                     routeringsmechanismen

                         • Triangulation
                            o Client stuurt pakketten naar eerst gecontacteerde

                               content server, die ze doorstuurt naar de tweede
                               content server
                            o Routering is gebaseerd op pakket tunneling (zoals

                               beschreven in A.1.1) -> origineel datagram wordt
                               geëncapsuleerd in een nieuw IP datagram
                            o De tweede content server herkent dat het IP-

                               datagram werd geherrouteerd en antwoordt
                               rechtstreeks naar de client na vervanging van zijn
                               IP-adres met dat van de eerste content server
                            o Alle volgende pakketten blijven het traject “client ->

                               eerste content server -> tweede content server”
                               volgen


                                                                                       59
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.2 - Oplossing op basis van web server gebaseerde
                                     routeringsmechanismen

                         • HTTP redirection
                            o HTTP protocol standaard (vanaf versie 1.0) laat toe

                              dat een web server antwoordt aan de client met
                              een bepaalde status code om de request opnieuw
                              uit te sturen naar een andere host
                                • Status code 301 (“Moved permanently”)
                                     – Duidt aan dat de aangevraagde resource
                                       locator (URL) definitief is verplaatst naar
                                       een andere URL
                                • Status code 302 (“Moved temporarily”)
                                     – Duidt aan dat de aangevraagde resource
                                       locator (URL) tijdelijk onder een andere
                                       URL verblijft
                            o Voordeel: mechanisme op heel fijn niveau, tot op

                              niveau individuele webpagina’s
                            o Nadeel: extra latency                                  60
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.2 - Oplossing op basis van web server gebaseerde
                                     routeringsmechanismen


                        H
                        T
                        T
                        P

                        R
                        E
                        D
                        I
                        R
                        E
                        C
                        T
                        I
                        O
                        N

                                                                            61
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       A.2 - Oplossing op basis van web server gebaseerde
                                     routeringsmechanismen

                         • URL rewriting
                            o In dit geval zal de eerst gecontacteerde content

                              server dynamisch de linken van de ingebedde
                              objecten in de webpagina veranderen
                            o Fundamenteel verschillend met HTTP redirection

                              dat een statische techniek is
                            o Vaak in combinatie met intelligente DNS-

                              gebaseerde routering wordt deze techniek
                              tegenwoordig vaak gebruikt in Content Delivery
                              Netwerken (CDN’s) -> zie verder
                            o Grootste probleem van deze techniek is de

                              bijkomende load van server resources en
                              bijkomende latency geïntroduceerd door dit
                              mechanisme


                                                                                 62
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                         B. Mirror sites

                       • Dit zijn contentnetwerken waarbij men een
                         verzameling van servers verspreidt over het Internet
                         (slaves), en die allemaal een exacte replica zijn van
                         de master server op de hoofdlocatie
                       • De master-slave synchronisatie gebeurt doorgaans
                         niet in real-time maar op periodieke tijdstippen
                       • Redirection gebeurt typisch door de gebruikers
                          o Gebruiker gaat op hoofdsite en krijgt een lijst met

                             slave servers te zien, samen met hun geografische
                             info (kan misleidend zijn!)
                          o Proces kan geautomatiseerd worden bv. door

                             gebruik van cookies om keuze van de gebruiker weg
                             te schrijven -> initieert dan een “HTTP redirection”
                       • Het principe van mirror servers wordt heel vaak
                         toegepast voor FTP-servers
                                                                                    63
     Multimediatechnieken
         Rik Van de Walle
       Gent, Januari 2005




64
          (Voorbeeld)
           Mirror sites
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                         C. Content-delivery netwerken (CDN)

                       • Veel contentleveranciers hebben niet de middelen
                         om een wereldwijd netwerk van mirror sites uit te
                         bouwen
                       • Operatoren van CDN’s
                          o Bouwen een wereldwijde replicatie-infrastructuur

                            uit en stellen die ter beschikking
                          o Wordt betaald door contentleveranciers die hun

                            content ter beschikking stellen
                       • Business model (financieel)
                          o Voor CDN operatoren: Gedeelde infrastructuur,

                            verschillende gebruikers betalen ervoor
                          o Voor contentleveranciers: Groot geografisch bereik

                            aan beperkte cost


                                                                                 65
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                        CDN operatoren

                       • Oorspronkelijke missie van CDN operatoren was
                         het leveren van content voor hun klanten (= content
                         leveranciers) op een geografisch verspreide manier
                       • Tegenwoordig bieden CDN operatoren ook andere
                         diensten aan
                          o Beschikken over zeer hoog technologische

                             algoritmes en protocollen (bv. DNS tools)
                          o Proberen meer taken op zich te nemen (bv.

                             scripting taken, door die niet op de originele web
                             server van de content leverancier maar op het
                             CDN netwerk zo dicht mogelijk bij de klant
                       • CDN’s gebruiken doorgaans het DNS om URL’s te
                         transformeren in locatie-onafhankelijke verwijzingen



                                                                                  66
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                       CDN operatoren

                       • CDN servers bevatten typisch niet alle content van
                         websites, maar bepaalde selectieve objecten (in
                         samenspraak met de content leverancier)
                       • Dergelijke servers worden surrogaten genoemd
                          o Complexe redirection systemen nodig om de

                             gebruikers naar het juiste surrogaat te sturen
                          o Selectie van een bepaalde surrogaat op basis van

                             netwerk metrieken
                              • Routeringsinformatie
                              • Latencies, round-trip times
                              • Belasting van bepaalde surrogaten
                       • We bekijken in meer detail het grootste CDN op het
                         Internet in de case op het einde van de les


                                                                               67
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                         3. Contentnetwerken beheerd door de
                                      gebruikers
                       • Deze netwerken zijn beter gekend als “peer-to-peer”
                         netwerken (P2P)
                       • Het dure replicatiemechanisme van de voorgaande
                         technieken wordt vervangen door de gebruikers
                          o Stellen een deel van hun opslag- en

                             verwerkingscapaciteit ten dienste van het P2P netwerk
                       • De meeste van deze netwerken zijn “overlay” netwerken
                         en zijn dus niet gebonden aan een transparante
                         integratie met bv. HTTP-technologie
                          o Voordeel !

                          o Hebben alle vrijheid om nieuwe modellen van

                             contentverspreiding en contentpresentatie te
                             ontwikkelen
                          o Hebben zelfs hun eigen naamruimte -> niet gebonden

                             aan HTTP en URL’s
                                                                                 68
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                       P2P netwerken

                       • Basisidee van replicatie en distributie van data
                          o Hoe populairder een bestand is, hoe meer

                            gebruikers het zullen downloaden
                          o Als gevolg hiervan wordt het dus ook meer

                            beschikbaar gesteld in het P2P netwerk, …
                       • Redirection is evenwel een serieuze uitdaging
                          o Er moet een gedistribueerd zoekmechanisme

                            beschikbaar zijn
                          o Netwerken als Gnutella, KaZaa, Freenet behoren

                            tot deze klasse
                          o Napster niet, want die werkt met een

                            gecentraliseerde directory




                                                                             69
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                Redirection in P2P netwerken

                       • Algemeen principe
                          o Een node op het P2P netwerk ondervraagt naburige

                            nodes die zelf terug naburige nodes ondervragen, …
                          o Proces gaat door totdat

                             • Een bepaalde node positief antwoordt op de
                               aanvraag
                             • Een bepaalde zoekactie teveel resources op het
                               netwerk verbruikt heeft (vergelijkbaar met een TTL
                               op traceroute)
                          o Enkele aandachtspunten

                             • Dergelijke netwerken zijn heel vatbaar voor het
                               uitvoeren van “denial-of-service” DoS aanvallen door
                               het netwerk te overbelasten met aanvragen
                             • Men is nooit zeker dat men het document vindt, ook
                               al staat het op een bepaalde node
                                                                                      70
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                Het gebruik van P2P netwerken

                       •   Momenteel: vooral gebruikt voor file-sharing
                       •   P2P netwerken leveren echter ook nieuwe en
                           waardevolle concepten
                            o   Diverse projecten richten zich op het “scatter/gather”
                                distributieschema
                                  • Heel interessant voor grote bestanden
                                  • Een aanvrager-node downloadt fragmenten van een
                                     bestand bij verschillende andere nodes en
                                     assembleert die vervolgens
                                  • Kan zelfs zover gaan dat fragmenten worden ge-
                                     upload van gebruikers (nodes) die het fragment zelf
                                     aan het downloaden zijn op dat moment
                            o   Bepaalde projecten proberen P2P principes te integreren
                                in bestaande Web technieken en protocollen (Open
                                Content Network, BitTorrent)
                                  • Te interpreteren als een combinatie van CDN’s en
                                     P2P principes
                                                                                           71
                               Multimediatechnieken
                                   Rik Van de Walle
                                 Gent, Januari 2005




                  Case study

     Akamai CDN




72
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                              Het bedrijf

                       • Wereldwijde CDN provider op het Internet, algemeen
                         beschouwd als de marktleider
                       • Ontstaan in 1995 aan het MIT
                          o   Tim Berners-Lee voorzag het probleem van netwerk
                              congestion op het Internet
                          o   Hij daagde zijn collega’s aan het MIT uit om een nieuwe
                              en betere techniek te ontwikkelen voor de levering van
                              content op het Internet
                       • Eerste commerciële activiteiten in 1999
                       • Globale cijfers over aanwezigheid op het Internet
                         (2004)
                          o   Meer dan 14.000 servers
                          o   Aanwezig in 1.100 networks
                          o   In 65+ landen
                          o   Ongeveer 1000 klanten (Yahoo!, IBM, Apple, …)

                       • http://www.akamai.com
                                                                                        73
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                                Concept

                       • Akamai infrastuctuur is erop gericht om wanneer en
                         waar nodig meer servers te alloceren voor websites
                         die een zware belasting ervaren (bv. in geval van
                         “flash crowds”)
                       • Het system stuurt client requests naar de
                         dichtstbijgelegen beschikbare server die met
                         waarschijnlijk de gevraagde content heeft
                          o   Dichtstbijgelegen – functie van netwerktopologie en
                              dynamische link karakteristieken (bv. latency,
                              pakketverlies, …)
                          o   Beschikbare – functie van server belasting en
                              bandbreedte in het netwerk
                          o   Waarschijnlijk – functie van welke servers de gevraagde
                              content bevatten



                                                                                        74
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Akamai DNS verwijzingsproces (mapping)

                       •   Stel dat een bepaalde url (bv. www.site.org) in een
                           webpagina verwijst naar a7.g.akamai.net
                       •   Stap 0: Client DNS resolver queries de root name servers en
                           vervolgens .net name servers voor NS-records van
                           akamai.net -> resultaat is een Akamai Top Level (TL) DNS
                           server
                       •   Stap 1: Client DNS resolver queries de Akamai TL DNS
                           server voor een delegatie van g.akamai.net -> resultaat is
                           een Akamai Low Level (LL) DNS [TTL typisch 1 hour]
                       •   Stap 2: Client DNS resolver queries de Akamai LL DNS
                           server voor het host record van a7.g.akamai.net -> resultaat
                           is een IP-adres van een Akamai edge server [TTL typisch
                           enkele seconden tot max. 1 minuut]
                       •   Stap 3: Client maakt een HTTP request naar de edge server
                       •   Stap 4: Haalt de content bij een andere Akamai server
                       •   Stap 5: of laat die ophalen bij de orginele server

                                                                                          75
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Akamai DNS verwijzingsproces: Illustratie




                       Het resolving proces is hetzelfde voor elke DNS
                       naam op het Internet. Akamai name-resolving
                       verschilt echter in de manier waarop de DNS
                       servers zich gedragen

                                                                         76
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Criteria voor DNS verwijzingsproces om een hostnaam
                         te mappen op het IP-adres van een content server
                         •   Gevraagde dienst: bv. LL DNS server moet een aanvraag voor
                             een Quicktime streaming video niet verwijzen naar een
                             contentserver die enkel HTTP behandelt
                         •   Toestand van server: moet up-and-running zijn zonder
                             problemen
                         •   Belasting van server: moet onder bepaalde drempelwaarde
                             liggen (typische maten zijn CPU, disk space, RAM,
                             netwerkgebruik)
                         •   Conditie van het netwerk: Client moet server kunnen bereiken
                             met minimaal pakketverlies
                         •   Locatie van client: Server moet dicht bij client gesitueerd zijn
                             (minimale latency of round trip time)
                         •   Gevraagde content: De server moet met hoge
                             waarschijnlijkheid de content hebben




                                                                                                77
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Criteria voor DNS verwijzingsproces om een hostnaam
                         te mappen op het IP-adres van een content server
                         •   Met elk van de criteria op vorige slide wordt dus rekening
                             gehouden in het resolving proces !
                         •   Impliceert:
                              o Sterke controle en implementatie van de DNS servers
                                (daemons) is een van de belangrijkste onderdelen
                                   • Hierin zit een groot stuk van de Akamai technologie
                              o Heel sterke kennis van het netwerk vereist via constante
                                monitoring
                                   • Aan de hand van probes die continu parameters
                                     registreren in het Akamai rapporterings- en
                                     managementsysteem
                                   • Aan de hand van “agents” die overal in het netwerk
                                     peridiek clientgedrag simuleren (HTTP requests, …)
                                   • Hebben dus een “tabel” van vrijwel als ISP caching
                                     name servers en de respectievelijke dichtste Akamai
                                     edge servers (Akamai is aanwezig in ongeveer 1100
                                     netwerken)
                                                                                           78
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Voorbeeld: www.yahoo.com (Enkel voor DNS-resolving,
                             niet voor geografische content distributie)
                        22/04/2005 (10h) vanop het netwerk van Esko-Graphics (MCI connectiviteit)
                        H:\>nslookup -type=A www.yahoo.com
                        Server: begedesgc001.esko-graphics.com
                        Address: 10.31.134.45

                        Non-authoritative answer:
                        Name: www.yahoo.akadns.net
                        Addresses: 216.109.118.68, 216.109.118.71, 216.109.118.72,
                                  216.109.118.79, 216.109.117.109, 216.109.117.207
                        Aliases: www.yahoo.com


                        22/04/2005 (10h) vanop het netwerk van Telenet
                        H:\>nslookup -type=A www.yahoo.com
                        Server: roes.lyssa.telenet-ops.be
                        Address: 195.130.130.5

                        Non-authoritative answer:
                        Name: www.yahoo.akadns.net
                        Addresses: 68.142.226.32, 68.142.226.34, 68.142.226.38, 68.142.226.39
                              68.142.226.42, 68.142.226.44, 68.142.226.50, 68.142.226.52
                        Aliases: www.yahoo.com
                                                                                                    79
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                   Belangrijkste diensten

                       • Levering van statische content over HTTP en
                         HTTPS
                       • Levering van dynamische content over HTTP en
                         HTTPS
                       • Levering van streaming audio en video over de
                         volgende 3 protocollen
                          o Microsoft Windows Media

                          o Real

                          o Apple Quicktime

                       • Geavanceerde DNS-resolving technieken voor
                         contentleveranciers (bv. voor lokale load balancing)




                                                                                80
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                        Andere diensten

                       • “EdgeComputing voor Java” (en .NET dit jaar).
                         J2EE applications kunnen worden uitgevoerd op het
                         Internet op de Akamai servers
                       • Virtual waiting room
                          o In e-shopping, om de transactie van de klant te
                             beschermen
                              • Stel, klant koopt en heeft tal van items in zijn
                                 shopping cart
                              • Bij check-out treedt overbelasting van de site
                                 op -> kan niet verder -> alles kwijt
                          o Akamai zal de shopping cart tijdelijk in de “virtual
                             waiting room” plaatsen en de klant notificeren
                             zolang de congestie niet weg is
                       • Geografische landherkenning van de client voor de
                         content leverancier


                                                                                   81
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                     Statische content

                       • Statische webcomponenten kunnen zijn: HTML-
                         pagina’s, figuren, executables, PDF-documenten, …
                       • Het HTTP “pull model” verandert niet met Akamai
                       • Client request wordt beantwoord vanuit de cache
                         van de edge server (indien aanwezig) en anders
                         vanuit de orginele server
                       • Aanvullend kunnen klanten beslissen om statische
                         content op te slaan op de gerepliceerde Akamai
                         NetStorage data center servers
                          o Content wordt beheerd op een gecentraliseerde

                             locatie door de klant
                          o Wordt verspreid via een gedistribueerd netwerk

                             aan de ganse Internet gebruikers community


                                                                             82
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                       Dynamische content

                       • Websites vandaag beschikken vaak over
                         dynamische content
                       • Proxy server caches kunnen dit typisch niet aan, bv.
                         een pagina die voor 80% statisch is, maar 20%
                         dynamische data bevat




                         Elk met een
                        bepaalde TTL

                                                                                83
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                Dynamische content - ESI

                       • Edge Side Includes (ESI) – www.esi.org
                          o Eenvoudige markup language (XML-gebaseerd)

                          o Beschrijving van “cacheable” en “non-cacheable”
                            componenten op een webpagina die kunnen
                            geaggregeerd, geassembleerd en afgeleverd worden
                            de edge van het netwerk
                          o Laat contentleveranciers toe om een dynamische
                            pagina op te delen in HTML-fragmenten met
                            onafhankelijke eigenschappen voor caching
                          o Deze fragmenten worden beheerd als onafhankelijke
                            objecten in de cache van de edge server
                          o Bij client aanvraag naar een URL die verwijst naar
                            het Akamai CDN levert de edge server de statische
                            fragmenten (indien niet expired) en haalt enkel de
                            dynamische fragmenten op bij de originele web
                            server
                          o Alles wordt samengesteld op de edge server en
                            doorgestuurd naar de client                          84
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                       Dynamische content – ESI (Voorbeeld 1)

                         o   ESI wordt eveneens gebruikt om bepaalde losse
                             diensten aan te bieden
                         o   Contentleverancier toont verschillende objecten (bv.
                             Webpagina, figuren, …) op basis van land van
                             herkomst van client of op basis van cookie informatie
                         o   Akamai kan de geografische herkenning maken (tot
                             op landniveau)
                         o   ESI script wordt uitgevoerd op de edge server, NIET
                             op de originele web server
                         o   Juiste pagina wordt doorgestuurd naar de client
                         o   Verschil met klassieke technologie: alle rekenkracht
                             en processing werd uitgevoerd op het CDN van
                             Akamai (geen belasting voor de originele webserver)
                             en dicht bij de klant


                                                                                     85
     Multimediatechnieken
         Rik Van de Walle
       Gent, Januari 2005
             Dynamische content – ESI (Voorbeeld 2)




86
Multimediatechnieken
    Rik Van de Walle
  Gent, Januari 2005
                                          Streaming media

                       • Contentleverancier levert een gecapteerde en
                         gecodeerde “live stream” af bij een ingangsserver in
                         het Akamai netwerk
                          o   Uitdagingen (verwijderen van “single points of failure” in
                              netwerk) !
                               • Mechanisme nodig dat snelle fail-over garandeert
                               • De “live stream” wordt onmiddellijk gerepliceerd naar
                                  meerdere edge servers
                               • Constant rekening houdend met pakketverlies en
                                  netwerk instabiliteiten
                               • Ook de vertragingen (delay) en jitter (delay variation)
                                  worden in de gaten gehouden
                       • Ook “on-demand” clips of streams kunnen worden
                         afgeleverd en opgeslagen in het Akamai netwerk
                          o   Het netwerk zorgt voor de replicatie
                          o   Aflevering bij een client request volgt het normale proces



                                                                                           87

				
DOCUMENT INFO
Shared By:
Categories:
Tags:
Stats:
views:11
posted:8/26/2011
language:Dutch
pages:87