Arhiva za studeni, 2011

Import velike količine podataka u mysql bazu

 

Ukoliko ste imali priliku raditi import velike količine podataka, izvorna .sql datoteka preko 5GB ili preko 20 milijuna zapisa, vrlo vjerojatno ste se susreli sa pitanjem na koji način to najbrže i najlakše odraditi. Pogotovo kada se radi o live produkcijskom serveru kod kojeg nije zgodno isključiti pristup na više sati.

Ovih dana upravo sam radio na jednom takvom primjeru. Sql datoteka sa oko 25 milijuna zapisa koje treba ubaciti u mysql bazu.

Kreirao sam myslq bazu i unutar mysql prompta upisao naredbu:

. /home/user/backup_dump.sql

Krenulo je odlično, ubrzo je importano preko 10  milijuna zapisa. Međutim, import podataka lagano se počeo usporavati.

Na početku je bilo oko 15 tisuća upisa u sekundi, nakon milijun-dva upisa usporilo se na 2-3 sekunde po upisu, zatim na 12-15 sekundi, da bi se nakon 15 milijuna zapisa usporilo na preko 60 sekundi i smanjilo na svega 6 tisuća upisa. Ovo je poprilično velik problem pošto je ostalo još oko 10 milijuna zapisa za upisati, a svaki paket upisa je sve sporiji i sporiji. Ukoliko se ovako nastavi trebati će preko 100 sati (>4 dana) da se dovrši upis kompletno svih podataka.

Ovakav način importa je prekinut. Pokušao sam zatim import preko komandne linije “mysql baza < /home/user/backup_dump.sql” no završilo je sa istim rezultatom. Što se više bliži kraj, više vremena treba mysql-u da pročita upiti iz datoteke.

Nakon toga pokušao sam sljedeće. Backup_dump.sql datoteku podijelio sam na nekoliko dijelova od po otprilike 200MB. Za ovo sam koristio naredbu “split”:

cd /home/user
mkdir splits
split -l 200 backup_dump.sql splits/sql_

Ovo je rezultiralo sa petnaestak datoteka i potrajalo je par minuta (8 min). Opcija -l označava da se nakon svakih 200 linija napravi prekid i kreira nova datoteka za upis sljedećih 200 linija. Kreirane manje datoteke nazvane su sql_aa, sql_ab, sql_ac, itd. sve do zadnje. Nakon toga, koristio sam naredbu “cat” da pošaljem sve podatke prema mysql-u:

cd splits
cat sql_* | mysql baza

Jedini problem kod ovoga je da se ne može pratiti status svakog izvršenog upita, već se jednostavno podaci importaju dok se ne pojavi neka greška, nakon čega se prekida daljnji import. Ako sve prođe ok vratit će se natrag komandna linija. Za pregled tijeka importa može se u novom prozoru u mysql naredbenoj liniji izvršiti naredba “show processlist;”, ili u komandnoj liniji naredba “mysqladmin proc”, tako da vidimo dokle je stigao import.

Nakon nekoliko sati kompletno svi podaci importani su u mysql bazu. Najvažnije je da za ovakav import treba znatno manje vremena nego za import jedne cijele velike datoteke.

Nadam se da će vam ovaj članak pomoći u slučaju da se nađete u sličnoj situaciji.

POVEŽITE SE S NAMA PUTEM DRUŠTVENIH MREŽA

KORISNIČKE STRANICE

Email adresa:

Lozinka:

  • 1Marijan PericaImo-Consalt Rijeka

    Već godinama koristim usluge Studio4web-a. Zasigurno najbolja korisnička podrška koja se može dobiti kod nas. Preporučujem svima, sve pohvale... Miron svaka čast ... moje poštovanje !!!

  • 1Bernardo KlarićUdruga TOPNET Topusko

    Nemam primjedbi, a sviđa mi se ažurnost u odgovorima na probleme ili nedoumice.

  • 1Darko HlušičkaHD televizija

    Mnogi danas nose atraktivna imena svojih kompanija i hvale se da su profesionalci, no ja znam samo za jednog pravog: Studio4web. Hosting koji sam slučajno primijetio na jednoj stranici prije mnogo godina nisam niti jednom do sada pomislio promijeniti već sasvim suprotno - otvaram nove domene i hosting račune za sebe i klijente isključivo ovdje i niti na kraj pameti mi nije promijeniti ovako dobar hosting.

  • 1Antonio BaškovićToni Informatika LTD

    Brza, pouzdana i kvalitetna tehnička podrška. Brza aktivacija svih usluga, same pohvale!

  • 1Ivo KljajićKim - obrt

    Već nekoliko godina sam korisnik i zaista sam prezadovoljan. Korisnička podrška izuzetno brzo i korektno obavlja svoj posao i čitajući ostale komentare složio bih se s jednim korisnikom u mišljenju: "Zaista jedna poštena i odgovorna tvrtka u ovoj banani od države".

  • 1Tomislav Ermanwww.zminj24.com

    Uptime odličan! Korisnička podrška brza,uljudna,profesionalna i ekspertna! Za svaku pohvalu!

  • 1Ivica BrajkovićArke orbis j.d.o.o

    Odlični, brzi i pouzdani!

  • 1Dominik PintarićDOPI DIZAJN j.d.o.o.

    Više od 5 godina surađujemo sa Studio4web-om i pokazali su se kao vodeća hosting tvrtka u Hrvatskoj. Inovativnost, znanje, iskustvo i stručnost su glavne prednosti ove tvrtke. SAMO NAPRIJED!

  • 1Siniša BralićstroGo ITT d.o.o.

    Više no zadovoljavajuća razina podrške sastoji se od brzine, kvalitete i potpunosti odgovora na sva do sada postavljena pitanja.

  • Iznimno smo zadovoljni uslugom, pouzdanošću i brzinom odgovora od strane korisničke podrške. Svakako preporučujemo!

  • 1Alida MezićKlaracomm d.o.o.

    Jako sam zadovoljna sa uvijek brzim i konkretnim odgovorima, uvijek 100 postotnim rješenjem problema. Vrlo ugodna suradnja, preporučam svakome tko želi/treba sigurno parkirane stranice.

  • 1Dean Hudoletnjakwww.boss-game.com

    Jednostavno najbolji hosting, podrška za 5. Moja preporuka svima !

  • 1Dražen PaunPAUN d.o.o.

    Definitivno najbolja usluga što se tiče web hostinga, registracija domena, brzih i korisnih odgovora na upite i zahtjeve. Toplo preporučam svima.

  • Sva pohvala na iznimno brzim reakcijama na upite, profesionalizmu, pouzdanosti i odnosu prema korisniku. Premašili ste naša očekivanja. Bravo!

  • 1Antonio VukorepaKontrol biro d.o.o.

    Vrlo sam zadovoljan kompletnom uslugom, pogotovo kvalitetnom korisničkom podrškom.Na sve moje upite odgovorili ste u roku pola sata i riješili sva pitanja i probleme.

  • Ažurnost na nivou, podrška odlična. Jedna od boljih hosting usluga u Hrvatskoj. Profesionalnost na nivou, pristupačnost odlična, samo naprijed.

  • 1Hrvoje BušićMale stvari d.o.o.

    Fantastična, brza i kvalitetna usluga bez čekanja. Izuzetno ljubazan odnos i visoka razina ophođenja ne samo prilikom kupnje već i prilikom rješavanja problema. Čisto zadovoljstvo!

  • 1Neven Bičanićwww.uniko-namjestaj.com

    O suradnji sa Studio4web koja već traje 5 godina mogu samo reći sve najbolje izuzetna susretljivost brzina i profesionalnost, u svakom slučaju topla preporuka.

  • 1Tonči Morićwww.paintball.com.hr

    Što reći, već godinama sam na Studio4web i moja iskustva su toliko pozitivna da bi svima na svijetu savjetovao S4W. Nikada nikakve greškice, ako se dogodi problem s moje strane stvar se riješi u 2-3 sata, što niti najveće svjetske hosting kompanije nisu u stanju napraviti. Ekipa iz S4W hvala Vam što zbog vas nema straha i brige oko svoji web stranice! Ostanite takvi i dalje!

  • 1Branko Bralićwww.fotohr.com

    Jako sam zadovoljan otkada sam počeo koristiti vaše usluge. Jednostavno nemam nikakvih primjedbi. Sve se radi do kraja profesionalno i odgovorno.

  • 1Ena BičanićEna Bičanić

    Odlična, pouzdana, povoljna usluga i solidna podrška. Sve pohvale.

  • 1Luiza Gortanwww.marcana.info

    Sve što mi treba tu je. Podrška brza i efikasna (što mi je najbitnije). Omjer cijene i kvalitete savršen.

  • 1Davor PukljakFrontispis d.o.o.

    Izuzetno sam zadovoljan suradnjom. Svi korisnički upiti rješavaju se brzo i pouzdano.

  • 1Emil MustaćEmil Mustać

    Nikakvih zamjerki. Sve se jednostavno i lako odradi preko korisnickog sucelja.

  • 1Marinko Stanićwww.stanich.net

    Najpovoljnije cijene za stabilnu uslugu.Tehnička podrška brza i efikasna.Preporuke svima!

  • 1Marino BobetićMarino Bobetić

    U višegodišnjem korištenju usluga Studio4web-a nikad se nisam osjećao uskraćen. Cijene su pristojne i pristupačne, služba za korisnike ljubazna i susretljiva. Nemojte se pokvariti i ostat ćemo skupa još dugo vremena ;)

  • 1Jovica NikšićUdruga e-vinarstvo

    Zadovoljni smo brzinom odgovora na upite i suradnjom kroz ove 4g.

  • 1Jurica Kukovec

    Odlično! Bolji, pristupačniji, pregledniji, hosting i podršku nisam vidio... Samo tako dalje, imate moju punu podršku.

  • 1Marko Glavićwww.mag.com.hr

    Već 6 godina, 24sata online, uz Studio4web. Ocjena, izvrstan(5)

  • 1Davor NujicTRIVIUS d.o.o.

    Najbolji web hosting koji se može pronaći u regiji. Osobno sam ga preporučio svim svojim kolegama i poslovnim partnerima koji me pitaju gdje smjestiti svoju web stranicu. Brzinu supporta koju pružaju kolege iz Studia4Web može biti uzor svim drugim hosting providerima iz cijeloga svijeta, jednom riječju FASCINANTNO ;) Topla preporuka svima koji traže brz, kvalitetan, pouzdan i cijenovno JEFTIN webhosting!!!

  • 1Danijel Vranešićwww.jedanklik.com

    U kratko, vrlo sam zadovoljan s uslugom. Korisnička podrška je odlična i od velike pomoći. Cijene su i više nego prihvatljive. Vrhunska kvaliteta i niska cijena, vrlo sam zadovoljan!

  • 1Ivan MišićIvan Mišić

    Do sada najbolji hosting (ništa ne brane niti ograničavaju, svaki upit je riješen gotovo isti dan na zadovoljstvo mene kao korisnika). Preporučam svakome tko želi kvalitetan, ali povoljan hosting :)

  • 1Gligo TomanovićGligo Tomanović

    Dugogodišnji sam korisnik usluga Studio4web-a i prilično sam zadovoljan. Radujem se nastavku uspješne saradnje.

  • Pa mislim da se nemate u čemu još poboljšati, svoje ste usluge dotjerali do savršenstva. Nikad nisam vidjela da u Hrvatskoj itko radi kao Vi!!!! Kad bi svi u Hrvatskoj radili kao Studio4web, mogli bi biti mala Švicarska!!! Svaka čast!!!

  • 1Ivan SušanjIvan Sušanj

    Izvrsna usluga i odlična korisnička služba.

  • 1Desiree AgićDesiree Agić

    Imam odlično iskustvo s obzirom da je odlična podrška. Uvijek sam dobila brz odgovor kad sam imala pitanje ili problem. Ostanite takvi pa ću i dalje uvijek rado preporučivati Vaše usluge. Najbolje je što onda putem affiliate programa dobijem proviziju!

  • Sve što sam tražio sam i dobio. Bez ikakvih problema ili predugačkih čekanja. Korisnička podrška na visokoj razini. Reagira brzo i pruža informacije koje korisnik i očekuje dobiti.

  • 1Igor LoborecToyota Club Croatia

    Znate onaj osjećaj kada obučete jaknu, hlače ili nešto treće sto niste dugo nosili, gurnete ruku u džep, a kad ono, u džepu 100 kn? Jednak osjećaj se javlja pri poslovanju sa Studio4web-om. Od brzine odgovaranja na upite, ljubaznosti, stručnosti, cijena, širine ponude, dostupnosti servera, brzine servera, .... kod ove hosting tvrtke nema loše strane i veselim se dugogodišnjem poslovanju s njima.

  • 1Vladan PavkovićUdruga Sjedi 5

    Zahvaljujem na visokom angažmanu koji se vidi u odnosu prema nama i našim potrebama. Potpuno smo mirni i zadovoljni kod vas. Sjedi5.hr

  • 1Ivona MačekIvona Maček

    Profesionalnost, brzina kod odgovora na upit i sve najbolje

  • Hi, I love the Reward Points addon. Thanks for your great support and addons!

  • 1Domagoj FrancDomagoj Franc

    Koristio sam puno domaćih i stranih hostinga ali Studio4web je moj omiljeni izbor

  • 1Saša PantelićTURBO IT j.d.o.o.

    Najbolje hosting usluge sa povoljnom cijenom na ovim područjima. Podrška je izuzetna i ako tako ostane surađivat ćemo još dugo. Kao i prošle godine predlažem ih za Super brand.

  • 1Marin Begićwww.popularpin.com

    Definitivno najkvalitetniji i najjeftiniji hosting na hrvatskom tržištu. Odličan support i puno dodatnih opcija (35% affiliate, reward points, plaćanje Paypalom). Samo nastavite, svaka čast!

  • 1Dario DžimbegInnovation Ads Croatia

    Zadovoljstvo je raditi sa S4W jer sve eventualne probleme rješavaju u kratkom roku. Podrška je zaista fenomenalna!

  • 1Marijan RelkovićPlanet Računala

    Iznimno profesionalna i kvalitetna usluga. Vrlo brzo riješavanje problema. Daleko najozbiljniji i najpouzdaniji.

  • 1Davor ĐurinićDavor Đurinić

    Prezadovoljan sa uslugom. Nemam zamjerke. Samo tako nastavite. LP

  • CloudLinux

  • cPanel

  • WHM

  • Roundcube

  • MySQL

  • PHP

  • phpMyAdmin

  • Apache

  • Nginx

  • Softaculous

© Copyright 2006-2017 Studio4web. Sva prava zadržana.