Prakticheskie rekomendacii po predotvrashcheniyu peregruzki Web-servera
Esli chto-nibud' horoshen'ko tolknut', ono upadet.
Zakon Fudda, Sbornik komedij Teatra Firesign
S tem zhe uspehom eto vyskazyvanie moglo by otnosit'sya i k Web-uzlu, kotoryj ne byl podgotovlen dolzhnym obrazom k samomu hudshemu. Buduchi "zavalennym" zaprosami, on "davitsya" zadyhaetsya i, ne vyderzhav nagruzki, otklyuchaetsya. Pri podobnom polozhenii del vryad li mozhno doverit' Web-uzlu podderzhku otvetstvennyh (i, vozmozhno, prinosyashchih vam dohod) prilozhenij.
Esli Web-uzel zhiznenno neobhodim dlya vashego predpriyatiya, on dolzhen vyderzhivat' ochen' bol'shie nagruzki, ne zamedlyaya svoej raboty, (a o polnom otklyuchenii i rechi byt' ne mozhet). Poskol'ku chislo zaprosov k tipichnomu Web-uzlu ezhemesyachno vozrastaet v 2-10 raz (a byvaet, chto za 3-6 mesyacev ono mozhet uvelichit'sya i v 100 raz), net nichego udivitel'nogo v tom, chto s uzlom nachinaet proishodit' neladnoe.
V otvet na vozrastayushchuyu nagruzku administratory uzlov primenyayut razlichnye ulovki i metody, pozvolyayushchie podderzhat' rabotosposobnost' sistemy. Dlya etogo mozhno ispol'zovat' nastraivaemye ocheredi i razlichnye parametry; mozhno takzhe provodit' nedorogie i neslozhnye modernizacii oborudovaniya, a takzhe primenyat' specializirovannye produkty, kotorye pozvolyayut raspredelit' vozrosshuyu nagruzku mezhdu neskol'kimi komp'yuterami, - LocalDirector kompanii Cisco, Net Dispatcher firmy IBM(ranee nazyvavshijsya ShockAbsorber) i drugie.
Pered tem kak nachat' brosat'sya den'gami, ubedites' v tom, chto sistemy, kotorye vy uzhe ispol'zuete v kachestve Web-serverov, gramotno nastroeny i nesposobny na bol'shee. "Ubedites', chto ustanovlennyj razmer ocheredi Listen Queue sostavlyaet ne menee 128", - sovetuet Robert |ndryus, administrator Web-uzla i direktor firmy Netscape. Razmer ocheredi Listen Queue opredelyaet maksimal'noe chislo zaprosov na soedinenie, kotoroe mozhet "zapomnit'" operacionnaya sistema, prezhde chem programma Web-servera budet gotova k ih obrabotke. Po zapolnenii ocheredi vse posleduyushchie zaprosy budut ignorirovat'sya.
Kak schitaet |ndryus, vo mnogih operacionnyh sistemah etot parametr chasto ustanovlen po umolchaniyu na slishkom maloe znachenie. Problemu uslozhnyaet sposobnost' mnogih brauzerov parallel'no zaprashivat' srazu neskol'ko soedinenij s odnim serverom, naprimer otdel'no dlya tekstovogo i graficheskogo soderzhimogo stranicy. "Blagodarya odnoj tol'ko pravil'noj ustanovke Listen Queue vy smozhete povysit' proizvoditel'nost' s polumilliona obsluzhivaemyh v den' zaprosov do 2-3 millionov", - govorit |ndryus.
Stiv Plastrik, zamestitel' prezidenta kompanii Viacom po tehnicheskomu obespecheniyu interaktivnyh uslug, otmechaet, chto, kak pravilo, chislo zadach, obrabatyvaemyh setevoj OS, mozhno sushchestvenno sokratit', udaliv mnozhestvo programm, ne otnosyashchihsya k funkcionirovaniyu Web-servera. Naprimer, na kuplennom Viacom servere WebForce kompanii SGI zapuskalos' okolo 200 zadach, bol'shaya chast' kotoryh trebovalas' dlya mnogopol'zovatel'skih Unix-sistem obshchego naznacheniya. "My smogli otklyuchit' za nenadobnost'yu okolo 90% etih zadach, sushchestvenno povysiv tem samym proizvoditel'nost' Web-servera", - govorit Plastrik.
Skol' by iskusno vy ne nastraivali vashu sistemu, rano ili pozdno ee konfiguraciya ustareet i vam pridetsya ee modernizirovat'. Pered tem kak vytashchit' svoj "kiberkoshelek", horoshen'ko podumajte, na chto imenno luchshe vsego potratit' den'gi. "Zachastuyu lyudi ne ponimayut odnoj prostoj, no vazhnoj veshchi: v bol'shinstve sluchaev ogranichivayushchim faktorom sluzhit vovse ne moshchnost' processora, - raz®yasnyaet Dejn |tkinson, prezident kompaniii SenseNet. - U nas bylo pyat' serverov s setevymi platami na 10 Mbit/s, i kogda my podklyuchili eshche odin server s platoj na 100 Mbit/s, ego proizvoditel'nost' okazalas' bol'shej, chem u vseh ostal'nyh vmeste vzyatyh. V nedostatke moshchnosti byli vinovny setevye platy, a ne processory. V drugoj raz u nas perestal spravlyat'sya s nagruzkoj Sun SPARC10 s 32 Mbajt operativnoj pamyati. My doveli ob®em ego pamyati do 128 Mbajt, i vse stalo zamechatel'no rabotat', a nam ne prishlos' pokupat' novyj komp'yuter".
|ndryu Makrej, glavnyj inzhener kompanii The Internet, otmechaet po etomu povodu: "Obychno lyudi zabotyatsya tol'ko o propusknoj sposobnosti, ne uchityvaya chisla soedinenij, ili dumayut o moshchnosti processora, zabyvaya pro skorost' dostupa k disku. Odnako na praktike bystryj disk, kak pravilo, imeet bol'shee znachenie, chem bystryj processor. Esli zhe vashi pol'zovateli imeyut medlennye modemy, to nezavisimo ot moshchnosti servera na zagruzku bol'shih fajlov budet uhodit' mnogo vremeni". |to snova ukazyvaet na neobhodimost' podderzhki bol'shogo chisla soedinenij.
"V poslednie mesyacy, blagodarya realizacii "potokov" (neskol'kih parallel'nyh processov vnutri odnoj zadachi) v setevyh OS i programmnom servere Netscape 2.0, ih proizvoditel'nost' povysilas' na poryadok", - govorit |ndryus iz kompanii Netscape, imeya v vidu OS Unix i Windows NT. Podobnye uluchsheniya pozvolyat rezko sokratit' rashody na soderzhanie mnogih Web-uzlov.
Opytnye sozdateli Web-uzlov nauchilis' maketirovat' stranicy tak, chtoby obespechit' naibol'shuyu effektivnost' ih zagruzki i maksimal'nuyu informativnost' dlya pol'zovatelya eshche v nachale prorisovki na ekrane. Administratory Web-uzlov ponyali takzhe, chto raspredelenie servernogo programmno-apparatnogo obespecheniya dolzhno byt' horosho sproektirovannym i chto samye ochevidnye resheniya - ne vsegda pravil'nye. "CHasto byvaet, chto vy predpolagaete naibol'shuyu nagruzku v odnom meste, a ona okazyvaetsya sovsem v drugom", - poyasnyaet |tkinson iz firmy SenseNet. V kachestve primera on rasskazyvaet o sluchae, kogda SenseNet peredavala po RealAudio koncert Debory Herri i Dzhoan Dzhett. "My skonfigurirovali bol'shuyu chast' apparatnogo obespecheniya kak servery RealAudio, - rasskazyvaet |tkinson. - Odnako kogda k osnovnoj stranice Web-servera podklyuchilos' neskol'ko tysyach pol'zovatelej, nagruzka stala takoj vysokoj, chto stranicy perestali obsluzhivat'sya". Samym prostym resheniem etoj problemy yavilos' pereklyuchenie neskol'kih serverov RealAudio na obsluzhivanie glavnoj stranicy.
V kompanii CNET, zanimayushchejsya elektronnym "setevym" izdatel'stvom, prishli k vyvodu, chto dostupnost' Web-uzla opredelyaetsya kachestvom ego kanala svyazi s Internet. Po etoj prichine krupnym Web-uzlam neploho bylo by obzavestis' neskol'kimi kanalami svyazi, prichem v ideale - s neskol'kimi provajderami. "Kogda my rabotali s dvumya provajderami, my oshchutili, naskol'ko eto udobno; po mere rosta kompanii chislo nashih provajderov uvelichivalos', - govorit Dzhonatan Rozenberg, ispolnitel'nyj vice-prezident po tehnologii kompanii CNET. - Kazalos' by, chetyre provajdera - eto slishkom mnogo, no, chestno govorya, ni u odnogo iz nih nadezhnost' obsluzhivaniya ne yavlyaetsya dostatochno vysokoj dlya togo, chtoby ya smog otkazat'sya ot vseh ostal'nyh. Kogda kanaly odnogo iz provajderov peregruzheny, nash trafik prosto nachinaet prohodit' cherez kanaly drugih provajderov".
Vskore poyavyatsya produkty, kotorye oblegchat zadachu upravleniya propusknoj sposobnost'yu dlya obsluzhivaniya zaprosov pol'zovatelej Internet k Web-uzlam. K chislu podobnyh sistem otnositsya, naprimer, eshche ne poluchivshij imya produkt kompanii Packeteer. Upravlenie budet proizvodit'sya s uchetom skorosti soedineniya, vida prilozheniya i IP-adresa.
Kak uzhe otmechalos', kompaniyam s krupnymi Web-uzlami, takim kak CNET, prihoditsya rabotat' s neskol'kimi provajderami. |to otnositsya, v chastnosti, k firme BBN Planet, predostavlyayushchej uslugi po svyazi s Internet i Web-hostingu. Dlya obespecheniya vysokoj proizvoditel'nosti i nadezhnosti BBN realizovala izbytochnost' kanalov na neskol'kih urovnyah. "Web-servery podklyucheny k kol'cu FDDI, kotoroe, v svoyu ochered', imeet neskol'ko soedinenij T3 s Internet", - govorit Larri Tompson, menedzher servisnyh linij iz sluzhby Web Advantage Hosting kompanii BBN Planet.
BBN Planet, vladeyushchaya dvumya "Web-fermami" v Massachusetse i Kalifornii, predlagaet svoim zakazchikam vozmozhnost' sozdaniya "zerkal'nyh" Web-uzlov v oboih shtatah v celyah povysheniya nadezhnosti. Poskol'ku sozdanie "zerkal'nyh" uzlov - dovol'no dorogoe udovol'stvie, ego mogut pozvolit' sebe daleko ne vse kompanii. Odnoj iz teh, komu eto nedostupno, yavlyaetsya kompaniya Los Angeles Times. V nachale oktyabrya v Stenfordskom universitete vyshel iz stroya snachala osnovnoj, a zatem i rezervnyj istochnik energosnabzheniya, i Web-ferma BBN Planet, nahodyashchayasya na Zapadnom Poberezh'e, otklyuchilas'. V svyazi s etim nezerkaliruemyj Web-uzel Los Angeles Times byl nedostupen po men'shej mere v techenie shesti chasov.
Skol'ko by vy ne nastraivali i ne modernizirovali server, rano ili pozdno chislo zaprosov prevysit ego vozmozhnosti. Togda vam pridetsya kakim-to obrazom raspredelit' nagruzku mezhdu neskol'kimi mashinami.Vse bol'she i bol'she krupnyh uzlov nachinayut primenyat' razlichnye uravnoveshivayushchie nagruzku metodiki i produkty, kotorye raspredelyayut ee po neskol'kim serveram i, po mere vozmozhnosti, otvodyat zaprosy pol'zovatelej ot peregruzhennyh ili neispravnyh sistem.
Samoj bol'shoj izvestnost'yu v Internet pol'zuetsya metod raspredeleniya nagruzki, nazyvaemyj Round-Robin DNS. |to funkciya utility TCP/IP BIND, ispol'zuemoj dlya naznacheniya soketov kazhdomu iz zaprosov na process. Kak mozhno ponyat' iz nazvaniya ("round robin" - seriya, posledovatel'nost'), eta funkciya pozvolyaet tak skonfigurirovat' spisok IP-adresov, chtoby zaprosy posledovatel'no raspredelyalis' serverom imen domenov mezhdu mashinami (ili processami na odnoj mashine), oboznachaemymi otlichnymi drug ot druga nomerami.
Nesmotrya na svoyu izvestnost', metod Round Robin DNS schitaetsya ne samym udachnym resheniem. On ne uchityvaet, naprimer, veroyatnyh razlichij v moshchnosti mashin (hotya neskol'ko processov na moshchnom komp'yutere mozhno ochen' priblizitel'no schitat' odinakovymi), ne prinimaet v raschet stepeni nagruzki, ne sposoben vyyavit' i proignorirovat' neispravnyj server.
Drugim, bolee effektivnym, variantom yavlyaetsya klasterizaciya - ob®edinenie neskol'kih mashin v klaster s edinoj fajlovoj sistemoj, vypolnyaemoe posredstvom standartnyh ili razrabotannyh na zakaz instrumentov. V chastnosti, vozmozhnost'yu klasterizacii obladaet OS VMS kompanii Digital. Imenno poetomu mnogie administratory Web-uzlov izbrali VMS v kachestve servernoj OS, kotoraya rabotaet na komp'yuterah Digital Alpha i bolee staryh VAX. "Klasterizaciya VMS obladaet ochen' vysokoj proizvoditel'nost'yu i nadezhnost'yu. Ona sposobna obrabatyvat' ogromnoe chislo zaprosov i, buduchi pravil'no skonfigurirovannoj, nikogda ne vyhodit iz stroya", - govorit Dzhoel Snajder, starshij partner iz kompanii Opus One, provodivshij testirovanie proizvoditel'nosti razlichnyh Web-serverov.
V nastoyashchee vremya v kachestve platformy dlya vnutrennih Web-serverov i klientskih uzlov v Opus One ispol'zuyut tri komp'yutera Alpha (kazhdyj stoimost'yu po 3 tys. dol.) Poskol'ku funkciya klasterizacii yavlyaetsya chast'yu VMS, "ona srabatyvaet avtomaticheski, - govorit Snajder. - Otkazoustojchivost' oborudovaniya obespechivaetsya proizvoditelem. Unix-sistemy tozhe mozhno tak nastroit', no na eto pridetsya potratit' opredelennye usiliya".
Drugie proizvoditeli predlagayut (ili vskore nachnut predlagat') uravnoveshivayushchee nagruzku PO, kotoroe raspredelyaet obrabotku mezhdu neskol'kimi Web-serverami. Zdes' mozhno vydelit' NetDispatcher kompanii IBM, LocalDirector kompanii Cisco, HydraWEB kompanii HydraWEB Technologies i Web Server Director (WSD) kompanii Rad Network Devices.
Nekotorym iz etih produktov, v osobennosti HydraWEB i LocalDirector, trebuetsya special'noe apparatnoe obespechenie. Drugie (NetDispatcher, naprimer) podderzhivayut neskol'ko servernyh platform. Pervonachal'no NetDispatcher byl razrabotan dlya AIX RISC System/6000s, i IBM sobiraetsya perenesti ego na vse populyarnye platformy. Produkty razlichayutsya i v drugih otnosheniyah: HydraWEB obrabatyvaet tol'ko zaprosy HTTP, a LocalDirector i NetDispatcher podderzhivayut vse servisy TCP/IP, vklyuchaya FTP, elektronnuyu pochtu, telnet, Gopher,CGI-bin i trafik marshrutizatorov s brandmauerami.
"Odna kopiya LocalDirector sposobna obespechit' sovmestnoe ispol'zovanie odnogo virtual'nogo IP-adresa srazu tysyachej serverov i raspredelit' mezhdu nimi obrabotku, prinimaya v raschet nagruzku na kazhdyj iz nih", - govorit Bret Kanninghem, rukovoditel' rabot po vypusku i realizacii LocalDirector (sm. risunok). Cisco prednaznachila svoj produkt dlya rynka promyshlennyh predpriyatij, krupnyh setej intranet i "superkompanij" vrode Netscape.
V Viacom, naprimer, ispol'zuetsya pyat' serverov Challenge S kompanii SGI, kotorye v srednem obrabatyvayut okolo 100 tys. zaprosov v den'. Blagodarya LocalDirector, servery sposobny spravit'sya s nagruzkoj, primerno v 70 raz prevyshayushchej ukazannuyu. "Kogda prohodili boi Majka Tajsona (prosmotr kotoryh oplachivalsya udalennymi zritelyami), my obsluzhivali po 300 tys. zaprosov v chas, v tom chisle mnozhestvo zaprosov na dvuh-trehminutnye sessii, v techenie kotoryh lyudi delali stavki na predpolagaemogo pobeditelya", - rasskazyvaet Plestrik.
NetDispatcher pozvolyaet raspredelyat' zaprosy po serveram, uchityvaya vid processa, nagruzku na sistemu i tip dannyh. Esli verit' fajlu chasto zadavaemyh voprosov po NetDispatcher, pomeshchennomu na Web-uzle AlphaWorks kompanii IBM, "obespechivaemaya produktom propusknaya sposobnost' pochti v chetyre raza vyshe, chem u Round-Robin DNS".
Vo vremya letnih Olimpijskih igr 1996 g. v Atlante odna kopiya NetDispatcher perenapravlyala zaprosy mezhdu 70 hostami, raspolozhennymi v 5 tochkah zemnogo shara i ob®edinennymi fajlovoj sistemoj Distributed Filing System kompanii TransArc. "V pikovye periody obrabatyvalos' do 17 mln zaprosov v den', v tom chisle zaprosy na sessii RealAudio dlitel'nost'yu v chas i bolee, na izobrazheniya v formate JPEG i na massu drugoj informacii, - vspominaet Gerni Hant, sotrudnik nauchnogo otdela issledovatel'skogo centra IBM. - V obshchej slozhnosti za te dve nedeli bylo obrabotano 180-190 mln zaprosov".
Raspredelyat' nagruzku Web-uzla horosho, a ponizhat' ee - eshche luchshe. S poyavleniem takih instrumentov, kak Java i JavaScript, vse bolee populyarnym stanovitsya perenos chasti nagruzki na resurs, kotoromu zachastuyu udelyaetsya nespravedlivo malo vnimaniya, - na komp'yuter pol'zovatelya. Pri nalichii sootvetstvuyushchego PO podderzhki na klientskoj mashine tuda mozhno zagruzhat' Java-aplety i drugie programmy i zapuskat' ih. Rezul'taty ih raboty demonstriruyutsya pol'zovatelyu i soobshchayutsya uzlu.
Naprimer, blagodarya primeneniyu JavaScript, kompaniya Netscape smogla predostavit' pol'zovatelyam vozmozhnost' opisaniya personificirovannyh versij bazovoj stranicy i dostupa k nej (po adresu personal.netscape.com). "Bez JavaScript eto bylo by nevozmozhno", - govorit |ndryus iz Netscape. Blagodarya ispol'zovaniyu prilozhenij, napisannyh na JavaScript, 95% obrabotki perenosyatsya s serverov Netscape na pol'zovatel'skie sistemy. "Esli by obrabotka zaprosov k pesonal.netscape.com prohodila na serverah kompanii, nam by ponadobilos' eshche 100 mashin SGI, kotorye by rabotali s polnoj zagruzkoj, - govorit |ndryus. - Zadacha upravleniya sistemami i set'yu uslozhnilas' by do nevozmozhnosti. Esli by obrabotka vypolnyalas' u nas, eta usluga ne mogla by byt' besplatnoj, ".
Na gorizonte poyavilis' i drugie razrabotki, sposobnye povysit' proizvoditel'nost' Web-serverov.
Po ocenkam nekotoryh specialistov, HTTP 1.1 - novaya versiya protokola HTTP, ispol'zuemogo dlya svyazi mezhdu brauzerom i serverom, - budet obladat' bolee vysokoj, chem predydushchaya versiya, proizvoditel'nost'yu, blagodarya nekotorym uluchsheniyam, naprimer vozmozhnosti vyvoda na stranicu mnozhestva ob®ektov nepreryvnym potokom. Odnako okonchatel'noe mnenie ob HTTP 1.1 eshche ne sformirovano: drugie specialisty utverzhdayut, chto po rezul'tatam testirovaniya etafunkciya ne daet prakticheski nichego, poskol'ku maksimal'naya skorost' raboty brauzera ogranichena skorost'yu modema.
|ndryus iz Netscape vozlagaet bol'shie nadezhdy na versiyu FTP s funkciej podsoedineniya chastej fajlov. "Takoj variant FTP sushchestvenno ponizit nagruzku na nashi servery, pozvoliv mnozhestvu pol'zovatelej izbezhat' povtornoj zagruzki chastej fajlov, kotorye oni uzhe poluchili", - govorit on. Dannaya funkciya uzhe prisutstvuet v specifikacii FTP, no poka realizovana ne vo vseh FTP-klientah i serverah. Ee podderzhivaet, naprimer, NcFTP - komandnyj FTP-klient dlya Unix, besplatno rasprostranyaemyj po Internet.
Itak, kak vidite, dlya zashchity Web-uzla ot dejstviya zakona Fudda vy mozhete (i dolzhny) sdelat' mnogoe. Vsegda luchshe zaranee narashchivat' moshchnost', chem vposledstvii naverstyvat' upushchennoe. |to, konechno, obojdetsya nedeshevo, no luchshe uzh potratit' den'gi s tolkom, chem vybrosit' ih na veter, poterpev prostoi.
Esli ne nablyudat' za kipyacheniem moloka, ono ubezhit; esli ne nablyudat' za rabotoj Web-uzla, ona mozhet prekratit'sya. "|ti sistemy predstavlyayut soboj slozhnye mehanizmy. CHtoby postoyanno byt' osvedomlennym o kachestve obsluzhivaniya i vovremya ustranyat' neispravnosti, vam pridetsya udelyat' vnimanie mnozhestvu tonkih detalej, - govorit Dzhonatan Rozenberg, vice-prezident po tehnologiyam kompanii CNET. - My primenyaem programmy, kotorye polnost'yu otslezhivayut deyatel'nost' nashih serverov. My takzhe uchityvaem pochti vse zhaloby, postupayushchie ot pol'zovatelej".
V elektronnoj sluzhbe zanyatosti The Monster Board takim obrazom udalos' vovremya uznat' ob ugroze nehvatki diskovogo prostranstva. "Na uzlah vrode Monster Board, gde nakaplivaetsya pol'zovatel'skaya informaciya, neobhodim tshchatel'nyj kontrol', - govorit |rik Rouz, programmist iz Net Daemons Associates, razrabatyvavshej PO Web-uzla dlya sluzhby zanyatosti. - Kogda na diske ne hvataet mesta, mozhet proizojti dolgovremennyj prostoj".
