Postovi koji sadrže tag ‘mysql’

Import velike količine podataka u mysql bazu

 

Ukoliko ste imali priliku raditi import velike količine podataka, izvorna .sql datoteka preko 5GB ili preko 20 milijuna zapisa, vrlo vjerojatno ste se susreli sa pitanjem na koji način to najbrže i najlakše odraditi. Pogotovo kada se radi o live produkcijskom serveru kod kojeg nije zgodno isključiti pristup na više sati.

Ovih dana upravo sam radio na jednom takvom primjeru. Sql datoteka sa oko 25 milijuna zapisa koje treba ubaciti u mysql bazu.

Kreirao sam myslq bazu i unutar mysql prompta upisao naredbu:

. /home/user/backup_dump.sql

Krenulo je odlično, ubrzo je importano preko 10  milijuna zapisa. Međutim, import podataka lagano se počeo usporavati.

Na početku je bilo oko 15 tisuća upisa u sekundi, nakon milijun-dva upisa usporilo se na 2-3 sekunde po upisu, zatim na 12-15 sekundi, da bi se nakon 15 milijuna zapisa usporilo na preko 60 sekundi i smanjilo na svega 6 tisuća upisa. Ovo je poprilično velik problem pošto je ostalo još oko 10 milijuna zapisa za upisati, a svaki paket upisa je sve sporiji i sporiji. Ukoliko se ovako nastavi trebati će preko 100 sati (>4 dana) da se dovrši upis kompletno svih podataka.

Ovakav način importa je prekinut. Pokušao sam zatim import preko komandne linije “mysql baza < /home/user/backup_dump.sql” no završilo je sa istim rezultatom. Što se više bliži kraj, više vremena treba mysql-u da pročita upiti iz datoteke.

Nakon toga pokušao sam sljedeće. Backup_dump.sql datoteku podijelio sam na nekoliko dijelova od po otprilike 200MB. Za ovo sam koristio naredbu “split”:

cd /home/user
mkdir splits
split -l 200 backup_dump.sql splits/sql_

Ovo je rezultiralo sa petnaestak datoteka i potrajalo je par minuta (8 min). Opcija -l označava da se nakon svakih 200 linija napravi prekid i kreira nova datoteka za upis sljedećih 200 linija. Kreirane manje datoteke nazvane su sql_aa, sql_ab, sql_ac, itd. sve do zadnje. Nakon toga, koristio sam naredbu “cat” da pošaljem sve podatke prema mysql-u:

cd splits
cat sql_* | mysql baza

Jedini problem kod ovoga je da se ne može pratiti status svakog izvršenog upita, već se jednostavno podaci importaju dok se ne pojavi neka greška, nakon čega se prekida daljnji import. Ako sve prođe ok vratit će se natrag komandna linija. Za pregled tijeka importa može se u novom prozoru u mysql naredbenoj liniji izvršiti naredba “show processlist;”, ili u komandnoj liniji naredba “mysqladmin proc”, tako da vidimo dokle je stigao import.

Nakon nekoliko sati kompletno svi podaci importani su u mysql bazu. Najvažnije je da za ovakav import treba znatno manje vremena nego za import jedne cijele velike datoteke.

Nadam se da će vam ovaj članak pomoći u slučaju da se nađete u sličnoj situaciji.

cPanel i WHM log datoteke

 

General:
Quote:
Quote:
cPanel/WHM Initial Installation Errors: Location : /var/log/cpanel*install* Description : These log files contain cPanel installation logs & should be referenced first for any issues resulting from new cPanel installations..
Quote:
Cpanel/WHM Service Status Logs: Location : /var/log/chkservd.log Description :The service monitoring demon (chkservd) logs all service checks here. Failed service are represented with a [-] and active services are represented by [+].
Quote:
Cpanel/WHM Accounting Logs: Location : /var/cpanel/accounting.log Description : Contains a list of accounting functions performed through WHM, including account removal and creation..
cPanel/WHM Specific Requests and Errors:
Quote:
Quote:
cPanel error logs: Location : /usr/local/cpanel/logs/error_log Description : cPanel logs any error it incurs here. This should be checked when you encounter errors or strange behavior in cPanel/WHM…
Quote:
cPanel License Error Logs: Location : /usr/local/cpanel/logs/license_log Description : All license update attempts are logged here. If you run into any errors related to license when logging in, check here.
Quote:
Stats Daemon Logs: Location : /usr/local/cpanel/logs/stats_log Description : The stats daemon (cpanellogd) logs the output from all stats generators (Awstats, Webalizer, Analog) here.
Quote:
Client Information, Requested URL Logs: Location : /usr/local/cpanel/logs/access_log Description : General information related to access cPanel requests is logged here.
Quote:
cPanel/WHM Update Logs: Location : /var/cpanel/updatelogs/update-[TIMESTAMP].log Description : Contains all output from each cPanel update [upcp]. It’s named with the timestamp at which the upcp process was initiated..
Quote:
Bandwidth Logs: Location : /var/cpanel/bandwidth Description : Files contain a list of the bandwidth history for each account. Each named after their respective user.
Quote:
Tailwatchd [New]: Location : /usr/local/cpanel/logs/tailwatchd_log Description : Logs for daemon configuired under tailwatchd ie. cPBandwd, Eximstats, Antirelayd.
Apache Logs:
Quote:
Quote:
General Error and Auditing Logs: Location : /usr/local/apache/logs/error_log Description : All exceptions caught by httpd along with standard error output from CGI applications are logged here.. The first place you should look when httpd crashes or you incur errors when accessing website.
Quote:
Apache SuExec Logs: Location : /usr/local/apache/logs/suexec_log Description : Auditing information reported by suexec each time a CGI application is executed. Useful for debugging internal server errors, with no relevant information being reported to the Apache error_log, check here for potential suexec policy violations…
Quote:
Domain Access Logs: Location : /usr/local/apache/domlogs/domain.com Description : General access log file for each domain configured with cPanel.
Quote:
Apache Access Logs: Location : /usr/local/apache/logs/access_log Description : Complete web server access log records all requests processed by the server.
Exim :
Quote:
Quote:
Message Reception and Delivery: Location : /var/log/exim_mainlog or /var/log/exim/mainlog Description : Receives an entry every time a message is received or delivered.
Quote:
Exim ACLs/Policies based RejectLog : Location : /var/log/exim_rejectlog Description : An entry is written to this log every time a message is rejected based on either ACLs or other policies eg: aliases configured to :fail
Quote:
Unexpected or Fatal Errors: Location : /var/log/exim_paniclog Description : Logs any entries exim doesn’t know how to handle. It’s generally a really bad thing when log entries are being written here, and they should be properly investigated..
Quote:
IMAP/POP/SpamAssassin General Logging and Errors: Location : /var/log/maillog & /var/log/messages Description : The IMAP, POP, and SpamAssassin services all log here. This includes all general logging information (login attempts, transactions, spam scoring), along with fatal errors.
FTP:
Quote:
Quote:
FTP Logins and General Errors: Location : /var/log/messages Description : General information and login attempts are logged here..
Quote:
FTP Transactions logging: Location : /var/log/xferlog or /var/log/messages Description : Is a symbolic link in most cases to /usr/local/apache/domlogs/ftpxferlog, which contains a history of the transactions made by FTP users…
MySQL:
Quote:
Quote:
MySQL General Information and Errors : Location : /var/lib/mysql/$(hostname).err Description : This path could vary, but is generally located in /var/lib/mysql. Could also be located at /var/log/mysqld.log
Security:
Quote:
Quote:
Authentication attempts: Location : /var/log/secure Description : Logs all daemons which requires PAM Authentication.
Quote:
Tracking all Bad Logins and Logouts: Location : /var/log/btmp Description : Log of all attempted bad logins to the system. Accessed via the lastb command..
Quote:
Tracking all Logins and Logouts: Location : /var/log/wtmp Description : The wtmp file records all logins and logouts.
Quote:
Last Logins: Location : /var/log/lastlog Description : Database times of previous user logins. The lastlog file is a database which contains info on the last login of each user.
Quote:
WebDav or WebDisk Log : Location : /usr/local/cpanel/logs/cpdavd_error_log Description : The cpdavd daemon is “WebDav” (better known as “WebDisk”) which was introduced in cPanel 11 to allow users to mount their home directory on their personal computer, always having access to the files and content…
Quote:
Cphulkd Logs: Location : /usr/local/cpanel/logs/cphulkd_errors.log Description : cPHulk Brute Force Protection prevents malicious forces from trying to access your server’s services by guessing the login password for that service…. It blacklists IPs that it thinks are trying to run a brute force attack.
Quote:
Failure Logging: Location : /var/log/faillog Description : Faillog formats the contents of the failure log from /var/log/faillog database. It also can be used for maintains failure counters and limits. Run faillog without arguments display only list of user faillog records who have ever had a login failure.
Quote:
Startup/Boot, Kernel & Hardware error messages : Location : /var/log/dmesg Description : dmesg is a “window” into the kernels ring-buffer. It’s a message buffer of the kernel. The content of this file is referred to by the dmesg command. It shows bootlog and the hardware errors..
Tomcat:
Quote:
Quote:
General Startup, Shutdown & Error Logs: Location : /usr/local/jakarta/tomcat/logs/catalina.err and /usr/local/jakarta/tomcat/logs/catalina.out Description : Logs for Tomcat and all tomcat based applications…

POVEŽITE SE S NAMA PUTEM DRUŠTVENIH MREŽA

KORISNIČKE STRANICE

Email adresa:

Lozinka:

KLIJENTI O NAMA

  • Ažurnost na nivou, podrška odlična. Jedna od boljih hosting usluga u Hrvatskoj. Profesionalnost na nivou, pristupačnost odlična, samo naprijed.

  • Sve što sam tražio sam i dobio. Bez ikakvih problema ili predugačkih čekanja. Korisnička podrška na visokoj razini. Reagira brzo i pruža informacije koje korisnik i očekuje dobiti.

  • Ivica BrajkovićArke orbis j.d.o.o

    Odlični, brzi i pouzdani!

  • O suradnji sa Studio4web koja već traje 5 godina mogu samo reći sve najbolje izuzetna susretljivost brzina i profesionalnost, u svakom slučaju topla preporuka.

  • Marijan PericaImo-Consalt Rijeka

    Već godinama koristim usluge Studio4web-a. Zasigurno najbolja korisnička podrška koja se može dobiti kod nas. Preporučujem svima, sve pohvale... Miron svaka čast ... moje poštovanje !!!

  • Ena BičanićEna Bičanić

    Odlična, pouzdana, povoljna usluga i solidna podrška. Sve pohvale.

  • Ivona MačekIvona Maček

    Profesionalnost, brzina kod odgovora na upit i sve najbolje

  • Zadovoljstvo je raditi sa S4W jer sve eventualne probleme rješavaju u kratkom roku. Podrška je zaista fenomenalna!

  • Sva pohvala na iznimno brzim reakcijama na upite, profesionalizmu, pouzdanosti i odnosu prema korisniku. Premašili ste naša očekivanja. Bravo!

  • Alida MezićKlaracomm d.o.o.

    Jako sam zadovoljna sa uvijek brzim i konkretnim odgovorima, uvijek 100 postotnim rješenjem problema. Vrlo ugodna suradnja, preporučam svakome tko želi/treba sigurno parkirane stranice.

  • Gligo TomanovićGligo Tomanović

    Dugogodišnji sam korisnik usluga Studio4web-a i prilično sam zadovoljan. Radujem se nastavku uspješne saradnje.

  • Ivan MišićIvan Mišić

    Do sada najbolji hosting (ništa ne brane niti ograničavaju, svaki upit je riješen gotovo isti dan na zadovoljstvo mene kao korisnika). Preporučam svakome tko želi kvalitetan, ali povoljan hosting :)

  • Marino BobetićMarino Bobetić

    U višegodišnjem korištenju usluga Studio4web-a nikad se nisam osjećao uskraćen. Cijene su pristojne i pristupačne, služba za korisnike ljubazna i susretljiva. Nemojte se pokvariti i ostat ćemo skupa još dugo vremena ;)

  • Marin Begićwww.popularpin.com

    Definitivno najkvalitetniji i najjeftiniji hosting na hrvatskom tržištu. Odličan support i puno dodatnih opcija (35% affiliate, reward points, plaćanje Paypalom). Samo nastavite, svaka čast!

  • Znate onaj osjećaj kada obučete jaknu, hlače ili nešto treće sto niste dugo nosili, gurnete ruku u džep, a kad ono, u džepu 100 kn? Jednak osjećaj se javlja pri poslovanju sa Studio4web-om. Od brzine odgovaranja na upite, ljubaznosti, stručnosti, cijena, širine ponude, dostupnosti servera, brzine servera, .... kod ove hosting tvrtke nema loše strane i veselim se dugogodišnjem poslovanju s njima.

  • Branko Bralićwww.fotohr.com

    Jako sam zadovoljan otkada sam počeo koristiti vaše usluge. Jednostavno nemam nikakvih primjedbi. Sve se radi do kraja profesionalno i odgovorno.

  • Hrvoje BušićMale stvari d.o.o.

    Fantastična, brza i kvalitetna usluga bez čekanja. Izuzetno ljubazan odnos i visoka razina ophođenja ne samo prilikom kupnje već i prilikom rješavanja problema. Čisto zadovoljstvo!

  • Marinko Stanićwww.stanich.net

    Najpovoljnije cijene za stabilnu uslugu.Tehnička podrška brza i efikasna.Preporuke svima!

  • Antonio BaškovićToni Informatika LTD

    Brza, pouzdana i kvalitetna tehnička podrška. Brza aktivacija svih usluga, same pohvale!

  • Jurica Kukovec

    Odlično! Bolji, pristupačniji, pregledniji, hosting i podršku nisam vidio... Samo tako dalje, imate moju punu podršku.

  • Domagoj FrancDomagoj Franc

    Koristio sam puno domaćih i stranih hostinga ali Studio4web je moj omiljeni izbor

  • Iznimno smo zadovoljni uslugom, pouzdanošću i brzinom odgovora od strane korisničke podrške. Svakako preporučujemo!

  • Vladan PavkovićUdruga Sjedi 5

    Zahvaljujem na visokom angažmanu koji se vidi u odnosu prema nama i našim potrebama. Potpuno smo mirni i zadovoljni kod vas. Sjedi5.hr

  • Hi, I love the Reward Points addon. Thanks for your great support and addons!

  • Bernardo KlarićUdruga TOPNET Topusko

    Nemam primjedbi, a sviđa mi se ažurnost u odgovorima na probleme ili nedoumice.

  • Tomislav Ermanwww.zminj24.com

    Uptime odličan! Korisnička podrška brza,uljudna,profesionalna i ekspertna! Za svaku pohvalu!

  • Marijan RelkovićPlanet Računala

    Iznimno profesionalna i kvalitetna usluga. Vrlo brzo riješavanje problema. Daleko najozbiljniji i najpouzdaniji.

  • Emil MustaćEmil Mustać

    Nikakvih zamjerki. Sve se jednostavno i lako odradi preko korisnickog sucelja.

  • Davor ĐurinićDavor Đurinić

    Prezadovoljan sa uslugom. Nemam zamjerke. Samo tako nastavite. LP

  • Siniša BralićstroGo ITT d.o.o.

    Više no zadovoljavajuća razina podrške sastoji se od brzine, kvalitete i potpunosti odgovora na sva do sada postavljena pitanja.

  • Jovica NikšićUdruga e-vinarstvo

    Zadovoljni smo brzinom odgovora na upite i suradnjom kroz ove 4g.

  • Što reći, već godinama sam na Studio4web i moja iskustva su toliko pozitivna da bi svima na svijetu savjetovao S4W. Nikada nikakve greškice, ako se dogodi problem s moje strane stvar se riješi u 2-3 sata, što niti najveće svjetske hosting kompanije nisu u stanju napraviti. Ekipa iz S4W hvala Vam što zbog vas nema straha i brige oko svoji web stranice! Ostanite takvi i dalje!

  • Dean Hudoletnjakwww.boss-game.com

    Jednostavno najbolji hosting, podrška za 5. Moja preporuka svima !

  • Darko HlušičkaHD televizija

    Mnogi danas nose atraktivna imena svojih kompanija i hvale se da su profesionalci, no ja znam samo za jednog pravog: Studio4web. Hosting koji sam slučajno primijetio na jednoj stranici prije mnogo godina nisam niti jednom do sada pomislio promijeniti već sasvim suprotno - otvaram nove domene i hosting račune za sebe i klijente isključivo ovdje i niti na kraj pameti mi nije promijeniti ovako dobar hosting.

  • Davor PukljakFrontispis d.o.o.

    Izuzetno sam zadovoljan suradnjom. Svi korisnički upiti rješavaju se brzo i pouzdano.

  • Ivo KljajićKim - obrt

    Već nekoliko godina sam korisnik i zaista sam prezadovoljan. Korisnička podrška izuzetno brzo i korektno obavlja svoj posao i čitajući ostale komentare složio bih se s jednim korisnikom u mišljenju: "Zaista jedna poštena i odgovorna tvrtka u ovoj banani od države".

  • Pa mislim da se nemate u čemu još poboljšati, svoje ste usluge dotjerali do savršenstva. Nikad nisam vidjela da u Hrvatskoj itko radi kao Vi!!!! Kad bi svi u Hrvatskoj radili kao Studio4web, mogli bi biti mala Švicarska!!! Svaka čast!!!

  • Dominik PintarićDOPI DIZAJN j.d.o.o.

    Više od 5 godina surađujemo sa Studio4web-om i pokazali su se kao vodeća hosting tvrtka u Hrvatskoj. Inovativnost, znanje, iskustvo i stručnost su glavne prednosti ove tvrtke. SAMO NAPRIJED!

  • Marko Glavićwww.mag.com.hr

    Već 6 godina, 24sata online, uz Studio4web. Ocjena, izvrstan(5)

  • Davor NujicTRIVIUS d.o.o.

    Najbolji web hosting koji se može pronaći u regiji. Osobno sam ga preporučio svim svojim kolegama i poslovnim partnerima koji me pitaju gdje smjestiti svoju web stranicu. Brzinu supporta koju pružaju kolege iz Studia4Web može biti uzor svim drugim hosting providerima iz cijeloga svijeta, jednom riječju FASCINANTNO ;) Topla preporuka svima koji traže brz, kvalitetan, pouzdan i cijenovno JEFTIN webhosting!!!

  • Luiza Gortanwww.marcana.info

    Sve što mi treba tu je. Podrška brza i efikasna (što mi je najbitnije). Omjer cijene i kvalitete savršen.

  • Antonio VukorepaKontrol biro d.o.o.

    Vrlo sam zadovoljan kompletnom uslugom, pogotovo kvalitetnom korisničkom podrškom.Na sve moje upite odgovorili ste u roku pola sata i riješili sva pitanja i probleme.

  • Saša PantelićTURBO IT j.d.o.o.

    Najbolje hosting usluge sa povoljnom cijenom na ovim područjima. Podrška je izuzetna i ako tako ostane surađivat ćemo još dugo. Kao i prošle godine predlažem ih za Super brand.

  • Danijel Vranešićwww.jedanklik.com

    U kratko, vrlo sam zadovoljan s uslugom. Korisnička podrška je odlična i od velike pomoći. Cijene su i više nego prihvatljive. Vrhunska kvaliteta i niska cijena, vrlo sam zadovoljan!

  • Dražen PaunPAUN d.o.o.

    Definitivno najbolja usluga što se tiče web hostinga, registracija domena, brzih i korisnih odgovora na upite i zahtjeve. Toplo preporučam svima.

  • Desiree AgićDesiree Agić

    Imam odlično iskustvo s obzirom da je odlična podrška. Uvijek sam dobila brz odgovor kad sam imala pitanje ili problem. Ostanite takvi pa ću i dalje uvijek rado preporučivati Vaše usluge. Najbolje je što onda putem affiliate programa dobijem proviziju!

  • Ivan SušanjIvan Sušanj

    Izvrsna usluga i odlična korisnička služba.

  • CloudLinux

  • cPanel

  • WHM

  • Roundcube

  • MySQL

  • PHP

  • phpMyAdmin

  • Apache

  • Nginx

  • Softaculous

© Copyright 2006-2017 Studio4web. Sva prava zadržana.