LINUXSOFT.cz Přeskoč levou lištu
Uživatel: Heslo:  
   CZUKPL

> PHP (46) - Importujeme data do databáze

Jak dostat data do MySQL z externích zdrojů, třebas z desktopu? Pomocí PHP!

15.9.2004 15:00 | Petr Zajíc | Články autora | přečteno 37242×

Komerční sdělení: Pořádáme Kurzy PHP

Jelikož byly předchozí dva díly našeho seriálu dost teoretické (pro někoho možná až příliš), ukážeme si dnes na něco, co budete potřebovat při práci s PHP a MySQL téměř určitě. A to bude import dat z cizích zdrojů do MySQL.

Mějme například následující situaci: Firma provozuje podnikový informační systém na několika lokálních PC. Součástí systému je i ceník zboží. Firma má rovněž internetový obchod, běžící pod PHP a MySQL. A vtom někoho napadne, že by se ceník na internet dal nahrávat z toho lokálního systému. To je jasná výhoda; při změně cen (sortimentu…) stačí provést příslušné úpravy jen v jedné sadě dat, nemusí se to dělat vícekrát. Jsou to vlastně 3 problémy v jednom: data získat, nějak je zkopírovat na server a nakrmit je do databáze.

Jaká data?

Následující věc se vlastně naší problematiky skoro netýká. Ale abychom byli úplní, poradíme vám, že je žádoucí připravit exportovaná data v co NEJJEDNODUŠŠÍM, OTEVŘENÉM a (zejména pokud běží lokální infosystém na Windows) MULTIPLATFORMNÍM formátu. V praxi to bývají většinou textové soubory oddělené středníky či tabelátory. Téměř každý databázový systém má možnost exportovat data do textu; pokud jej nemá, dá se příslušný kus kódu napsat.

Pozn.: V takovém případě buďte líní a pokuste se to najít již hotové. Skoro určitě nejste první, kdo daný problém řešil. Může nastat rovněž problém s kódováním, zejména pokud text bude ve znakové sadě CP 1250 (Windows) a web na ISO-8859-2.

Pokud mohu poradit – vyhněte se pokusu použít nějakou "transportní" databázi. Viděl jsem například řešení používající pro výměnu dat formát dbf. To může fungovat, protože PHP lze nastavit pro práci s dbf. Toto řešení má však rovněž poměrně významné nevýhody:

  • Jste závislí na dalším formátu včetně jeho případných omezení
  • Exportovaná data bývají obvykle větší než při použití textu
  • Export a import trvá delší dobu (někdy až podstatně)

Pozn. Na druhou stranu textové soubory mohou být skoro nepoužitelné, pokud jsou součástí exportovaných dat rovněž binární data, třeba v případě, kdy jsou v databázi uloženy obrázky.

Další poměrně podstatnou výhodou je fakt, že textové soubory lze relativně snadno odkontrolovat a většinou se dají velice dobře komprimovat. Ke komprimaci byste měli použít gzip, protože PHP umí s tímto formátem bez problémů spolupracovat.

Pozn.: Dají se najít nástroje pro práci s gzipy i pod Windows. Některé jako freeware.Zcela úmyslně jsem se nezmínil o fenoménu XML. Budeme mu věnovat pozornost později v tomto seriálu.

Jak to dostat na server?

Takže, v této fázi byste měli mít jeden nebo více textových souborů, lépe ještě komprimovaných. Jejich přenos na server může a nemusí být realizován pomocí PHP. Například se můžete rozhodnout použít FTP, SCP a podobně. Ze zkušenosti ale vím, že je dobré mít k dispozici i náhradní metodu (třeba, když potřebujete dostat data na server z počítače, na němž nemáte k dispozici FTP klienta). Vzpomínáte si na díl seriálu o přenosu dat na server? To je přesně ono. Za chvíli si to ukážeme celé v praxi.

Pozn.: Možná budete chtít použít nějaký jiný postup, který se dá snadněji spouštět pomocí cronu.

Jak dostat data do databáze

A to je to nejdůležitější. Máme textový soubor nebo soubory na serveru a chceme je dostat do MySQL. Dobrá zpráva je, že na to existuje v MySQL příkaz; špatná zpráva je, že v závislosti na použité verzi PHP a/nebo MySQL tento příkaz nemusí fungovat. Takže si ukážeme dvě varianty:

LOAD DATA INFILE
MySQL disponuje tímto příkazem, který vezme data z textového souboru a importuje je do dabulky. Příkaz je to jednak dosti mocný a jednak poměrně rychlý. Nemá smysl tady vypisovat všechny jeho volby, k tomu slouží manuál. Zmínil bych se pouze o dvou významných volbách:

  • LINES TERMINATED BY slouží k definici znaku, který bude oddělovat řádky. Pokud importujete z Windows, měli byste nastavit '\r\n'.
  • FIELDS TERMINATED BY slouží k definici znaku, jímž se oddělují sloupce. Pro tabelátor zadejte '\t', je to ostatně výchozí volba.

K tomu všemu co bylo řečeno výše se vztahuje následující ukázka:

<?
function ungzip ($name)
{
  
$fp = gzopen ($name.".gz", "rb");
  
$contents = gzread ($fp, 4000);
  
$fp = fopen ($name,"wb");
  
fwrite ($fp,$contents);
  
fclose ($fp);
}

if (
$_REQUEST["odeslano"]==1):
  if (
$_FILES['data']['size']>4000) die ("Soubor je příliš velký ;-(");
  if (!
is_file($_FILES['data']['tmp_name'])) die ("Žádný soubor jste neuploadovali !!!");
  if (
move_uploaded_file($_FILES['data']['tmp_name'], "./data.txt.gz"))
  {
    
ungzip("data.txt");
    
// zde je include souboru s konstantami
    
mysql_connect(SQL_HOST, SQL_USERNAME, SQL_PASSWORD);
    
mysql_select_db(SQL_DBNAME);
    
$soubor=$_SERVER["DOCUMENT_ROOT"]."/data.txt";
    
mysql_unbuffered_query ("LOAD DATA INFILE '".$soubor."' INTO TABLE `moje_tabulka`LINES TERMINATED BY '\r\n'");    
  };
else:
?>
    Nahrání souboru na server
    <form method="POST" ENCTYPE="multipart/form-data" action="<?echo $_SERVER["PHP_SELF"]?>">
    <table border="1" >
      <tr>
        <td>Textový soubor</td>
        <td>
          <input type="HIDDEN" name="MAX_FILE_SIZE" VALUE=4000>
          <input type="file" name="data" ACCEPT="text/*">
        </td>
        <td>(max. 4 kb)</td>
      </tr>
      <tr>
        <td colspan="3">
          <input type="hidden" name="odeslano" value="1">
          <p align="center"><input type="submit" value="Odeslat">
        </td>
      </tr>
    </table>
    </form>
<?
endif;
?>

V tomto poněkud delším kódu jsou patrné dvě věci. Za prvé si všimněte, že jsme sestavili a použili funkci ungzip. Ta funguje tak, že vytvoří ze souboru něco.txt.gz soubor něco.txt. A příkaz LOAD DATA INFILE se postará o zbytek. Ostatní části kódu jsou převzaty z dílu o nahrávání dat na server.

Ruční způsob
Někdy ovšem LOAD DATA INFILE selže nebo není povolen. V tom případě nezbývá než data ze souboru postupně načítat a vkládat je do databáze pomocí série příkazů INSERT. To má následující nevýhody:

  • Je to pomalejší než LOAD DATA INFILE (někdy až řádově).
  • Je to složitější na napsání kódu.
  • Abychom to mohli provést, musíme znát strukturu tabulky.
  • Ve vysoce konkurenčním prostředí může dojít k problémům se zamykáním tabulek

Ovšem má to i výhodu - před vlastním vložením dat můžeme provést pomocí PHP nějaké výpočty nebo kontroly, což při použití LOAD DATA INFILE většinou není možné. V takovém případě by se řádek s příkazem LOAD DATA INFILE uvedený výše musel vyměnit za sadu příkazů, které soubor rozdělí, načtou jednotlivé hodnoty do příkazu SQL a soustí jej.

Závěr

Vidíme, že importovat data do MySQL není zas až tak složité. Je možné použít prakticky libovolné zdroje a pomocí konverze na texty dosáhnout poměrně rychle kýženého výsledku. Pokud by import dat byl pro běh webu závažný, měly by se naimportované hodnoty nějak odkontrolovat. Více o tomto tématu bude řečeno v sesterském seriálu o databázi MySQL.

Verze pro tisk

pridej.cz

 

DISKUZE

ukůládání dat ze souboru 23.11.2005 22:58 CATR
L Re: ukůládání dat ze souboru 24.11.2005 12:18 Petr Zajíc
  |- Re: ukůládání dat ze souboru 24.11.2005 19:12 CATR
  | L Re: ukůládání dat ze souboru 25.11.2005 15:44 Petr Zajíc
  L Re: ukládání dat ze souboru 24.11.2005 19:31 CATR
Oddělení sloupců 6.4.2008 16:08 Dan Pelíšek
  L Re: Oddělení sloupců 7.4.2008 11:01 Aleš Hakl




Příspívat do diskuze mohou pouze registrovaní uživatelé.
> Vyhledávání software
> Vyhledávání článků

5.3.2017 19:12 /Redakce Linuxsoft.cz
PR: 23. března proběhne v Praze konferenci na téma Cloud computing v praxi. Hlavními tématy jsou: Nejžhavější trendy v oblasti cloudu a cloudových řešení, Moderní cloudové služby, Infrastruktura současných cloudů, Efektivní využití cloudu, Nástrahy cloudových řešení a jak se jim vyhnout.
Přidat komentář

27.2.2017 22:12 /František Kučera
Pozvánka na 137. sraz OpenAlt – Praha: Tentokrát jsme si pro vás připravili neobvyklou akci. Ve středu 1.3. v 17:30 nás přivítá sdružení CZ.NIC ve svých prostorách v Milešovské ulici číslo 5 na Praze 3, kde si pro nás připravili krátkou prezentaci jejich činnosti. Následně navštívíme jejich datacentrum pod Žižkovskou věží. Provedou nás prostory, které jsou běžnému smrtelníkovi nedostupné!
Po ukončení prohlídky se všchni odebereme do hostince U vodoucha, Jagelonská 21, Praha 3 pochutnat si na některém z vybraných piv či dát si něco na zub. Rezervaci máme od 19:30, heslo je OpenAlt.
Ale pozor! Do prostor datového centra máme omezený přístup, dostane se tam pouze 10 lidí! Takže kdo přijde dříve, ten má přednost, a občanky s sebou! Kdo nebude chtít na prohlídku datového centra, může se pomalu přesunout do hostince U vodoucha a u nepřeberné nabídky piv počkat na ostatní.
Přidat komentář

18.1.2017 0:49 /František Kučera
Členové a příznivci spolku OpenAlt se pravidelně schází v Praze a Brně. Fotky z pražských srazů za uplynulý rok si můžete prohlédnout na stránkách spolku. Příští sraz se koná už 19. ledna – tentokrát je tématem ergonomie ovládání počítače – tzn. klávesnice, myši a další zařízení. Také budete mít příležitost si prohlédnout pražský hackerspace Brmlab.
Přidat komentář

8.1.2017 17:51 /František Kučera
Máš rád svobodný software a hardware nebo se o nich chceš něco dozvědět? Přijď na sraz spolku OpenAlt, který se bude konat ve čtvrtek 19. ledna od 18:30 v pražském hackerspacu Brmlab. Tentokrát je tématem srazu ergonomie ovládání počítače – tzn. klávesnice, myši a další zařízení. K vidění bude mechanická klávesnice dasKeyboard, trackball Logitech nebo grafický tablet (a velký touchpad) Wacom. Přineste i vy ukázat svoje zajímavé klávesnice a další HW. V 18:20 je sraz před budovou, v 18:30 jdeme společně dovnitř, je tedy dobré přijít včas. Podle zájmu se později přesuneme do nějaké restaurace v okolí.
Přidat komentář

1.12.2016 22:13 /František Kučera
Máš rád svobodný software a hardware nebo se o nich chceš něco dozvědět? Přijď na sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.
Komentářů: 1

4.9.2016 20:13 /Pavel `Goldenfish' Kysilka
PR: Dne 22.9.2016 proběhne v Praze konference Cloud computing v praxi. Tématy bude např. nejnovější trendy v oblasti cloudu a cloudových řešení, provozování ERP v cloudu, o hostování různých typů softwaru, ale třeba i o zálohování dat nabízeném podnikům formou služby.
Přidat komentář

1.9.2016 11:27 /Honza Javorek
Česká konference o Pythonu, PyCon CZ, stále hledá přednášející skrz dobrovolné přihlášky. Máte-li zajímavé téma, neváhejte a zkuste jej přihlásit, uzávěrka je již 12. září. Konference letos přijímá i přednášky v češtině a nabízí pomoc s přípravou začínajícím speakerům. Řečníci mají navíc vstup zadarmo! Více na webu.
Přidat komentář

27.8.2016 8:55 /Delujek
Dnes po 4 letech komunitního vývoje vyšla diaspora 0.6.0.0
diaspora* je open-source, distribuovaná sociální síť s důrazem na soukromý
Více v oficiálním blog-postu
Přidat komentář

   Více ...   Přidat zprávičku

> Poslední diskuze

24.3.2017 11:54 / Hui
country cottages

16.3.2017 16:33 / BezvaDesign.cz
Re: Hledám grafika do teamu

9.3.2017 11:44 / Jaromir Obr
Re: chyba

18.1.2017 20:18 / martin horky
Spolupraca linuxu a microsoftu

17.1.2017 9:57 / Pavel Hrubeš
Re: Externí USB televizní karta

Více ...

ISSN 1801-3805 | Provozovatel: Pavel Kysilka, IČ: 72868490 (2003-2017) | mail at linuxsoft dot cz | Design: www.megadesign.cz | Textová verze