LINUXSOFT.cz Přeskoč levou lištu
Uživatel: Heslo:  
   CZUKPL

> PHP (46) - Importujeme data do databáze

Jak dostat data do MySQL z externích zdrojů, třebas z desktopu? Pomocí PHP!

15.9.2004 15:00 | Petr Zajíc | Články autora | přečteno 38631×

Jelikož byly předchozí dva díly našeho seriálu dost teoretické (pro někoho možná až příliš), ukážeme si dnes na něco, co budete potřebovat při práci s PHP a MySQL téměř určitě. A to bude import dat z cizích zdrojů do MySQL.

Mějme například následující situaci: Firma provozuje podnikový informační systém na několika lokálních PC. Součástí systému je i ceník zboží. Firma má rovněž internetový obchod, běžící pod PHP a MySQL. A vtom někoho napadne, že by se ceník na internet dal nahrávat z toho lokálního systému. To je jasná výhoda; při změně cen (sortimentu…) stačí provést příslušné úpravy jen v jedné sadě dat, nemusí se to dělat vícekrát. Jsou to vlastně 3 problémy v jednom: data získat, nějak je zkopírovat na server a nakrmit je do databáze.

Jaká data?

Následující věc se vlastně naší problematiky skoro netýká. Ale abychom byli úplní, poradíme vám, že je žádoucí připravit exportovaná data v co NEJJEDNODUŠŠÍM, OTEVŘENÉM a (zejména pokud běží lokální infosystém na Windows) MULTIPLATFORMNÍM formátu. V praxi to bývají většinou textové soubory oddělené středníky či tabelátory. Téměř každý databázový systém má možnost exportovat data do textu; pokud jej nemá, dá se příslušný kus kódu napsat.

Pozn.: V takovém případě buďte líní a pokuste se to najít již hotové. Skoro určitě nejste první, kdo daný problém řešil. Může nastat rovněž problém s kódováním, zejména pokud text bude ve znakové sadě CP 1250 (Windows) a web na ISO-8859-2.

Pokud mohu poradit – vyhněte se pokusu použít nějakou "transportní" databázi. Viděl jsem například řešení používající pro výměnu dat formát dbf. To může fungovat, protože PHP lze nastavit pro práci s dbf. Toto řešení má však rovněž poměrně významné nevýhody:

  • Jste závislí na dalším formátu včetně jeho případných omezení
  • Exportovaná data bývají obvykle větší než při použití textu
  • Export a import trvá delší dobu (někdy až podstatně)

Pozn. Na druhou stranu textové soubory mohou být skoro nepoužitelné, pokud jsou součástí exportovaných dat rovněž binární data, třeba v případě, kdy jsou v databázi uloženy obrázky.

Další poměrně podstatnou výhodou je fakt, že textové soubory lze relativně snadno odkontrolovat a většinou se dají velice dobře komprimovat. Ke komprimaci byste měli použít gzip, protože PHP umí s tímto formátem bez problémů spolupracovat.

Pozn.: Dají se najít nástroje pro práci s gzipy i pod Windows. Některé jako freeware.Zcela úmyslně jsem se nezmínil o fenoménu XML. Budeme mu věnovat pozornost později v tomto seriálu.

Jak to dostat na server?

Takže, v této fázi byste měli mít jeden nebo více textových souborů, lépe ještě komprimovaných. Jejich přenos na server může a nemusí být realizován pomocí PHP. Například se můžete rozhodnout použít FTP, SCP a podobně. Ze zkušenosti ale vím, že je dobré mít k dispozici i náhradní metodu (třeba, když potřebujete dostat data na server z počítače, na němž nemáte k dispozici FTP klienta). Vzpomínáte si na díl seriálu o přenosu dat na server? To je přesně ono. Za chvíli si to ukážeme celé v praxi.

Pozn.: Možná budete chtít použít nějaký jiný postup, který se dá snadněji spouštět pomocí cronu.

Jak dostat data do databáze

A to je to nejdůležitější. Máme textový soubor nebo soubory na serveru a chceme je dostat do MySQL. Dobrá zpráva je, že na to existuje v MySQL příkaz; špatná zpráva je, že v závislosti na použité verzi PHP a/nebo MySQL tento příkaz nemusí fungovat. Takže si ukážeme dvě varianty:

LOAD DATA INFILE
MySQL disponuje tímto příkazem, který vezme data z textového souboru a importuje je do dabulky. Příkaz je to jednak dosti mocný a jednak poměrně rychlý. Nemá smysl tady vypisovat všechny jeho volby, k tomu slouží manuál. Zmínil bych se pouze o dvou významných volbách:

  • LINES TERMINATED BY slouží k definici znaku, který bude oddělovat řádky. Pokud importujete z Windows, měli byste nastavit '\r\n'.
  • FIELDS TERMINATED BY slouží k definici znaku, jímž se oddělují sloupce. Pro tabelátor zadejte '\t', je to ostatně výchozí volba.

K tomu všemu co bylo řečeno výše se vztahuje následující ukázka:

<?
function ungzip ($name)
{
  
$fp = gzopen ($name.".gz", "rb");
  
$contents = gzread ($fp, 4000);
  
$fp = fopen ($name,"wb");
  
fwrite ($fp,$contents);
  
fclose ($fp);
}

if (
$_REQUEST["odeslano"]==1):
  if (
$_FILES['data']['size']>4000) die ("Soubor je příliš velký ;-(");
  if (!
is_file($_FILES['data']['tmp_name'])) die ("Žádný soubor jste neuploadovali !!!");
  if (
move_uploaded_file($_FILES['data']['tmp_name'], "./data.txt.gz"))
  {
    
ungzip("data.txt");
    
// zde je include souboru s konstantami
    
mysql_connect(SQL_HOST, SQL_USERNAME, SQL_PASSWORD);
    
mysql_select_db(SQL_DBNAME);
    
$soubor=$_SERVER["DOCUMENT_ROOT"]."/data.txt";
    
mysql_unbuffered_query ("LOAD DATA INFILE '".$soubor."' INTO TABLE `moje_tabulka`LINES TERMINATED BY '\r\n'");    
  };
else:
?>
    Nahrání souboru na server
    <form method="POST" ENCTYPE="multipart/form-data" action="<?echo $_SERVER["PHP_SELF"]?>">
    <table border="1" >
      <tr>
        <td>Textový soubor</td>
        <td>
          <input type="HIDDEN" name="MAX_FILE_SIZE" VALUE=4000>
          <input type="file" name="data" ACCEPT="text/*">
        </td>
        <td>(max. 4 kb)</td>
      </tr>
      <tr>
        <td colspan="3">
          <input type="hidden" name="odeslano" value="1">
          <p align="center"><input type="submit" value="Odeslat">
        </td>
      </tr>
    </table>
    </form>
<?
endif;
?>

V tomto poněkud delším kódu jsou patrné dvě věci. Za prvé si všimněte, že jsme sestavili a použili funkci ungzip. Ta funguje tak, že vytvoří ze souboru něco.txt.gz soubor něco.txt. A příkaz LOAD DATA INFILE se postará o zbytek. Ostatní části kódu jsou převzaty z dílu o nahrávání dat na server.

Ruční způsob
Někdy ovšem LOAD DATA INFILE selže nebo není povolen. V tom případě nezbývá než data ze souboru postupně načítat a vkládat je do databáze pomocí série příkazů INSERT. To má následující nevýhody:

  • Je to pomalejší než LOAD DATA INFILE (někdy až řádově).
  • Je to složitější na napsání kódu.
  • Abychom to mohli provést, musíme znát strukturu tabulky.
  • Ve vysoce konkurenčním prostředí může dojít k problémům se zamykáním tabulek

Ovšem má to i výhodu - před vlastním vložením dat můžeme provést pomocí PHP nějaké výpočty nebo kontroly, což při použití LOAD DATA INFILE většinou není možné. V takovém případě by se řádek s příkazem LOAD DATA INFILE uvedený výše musel vyměnit za sadu příkazů, které soubor rozdělí, načtou jednotlivé hodnoty do příkazu SQL a soustí jej.

Závěr

Vidíme, že importovat data do MySQL není zas až tak složité. Je možné použít prakticky libovolné zdroje a pomocí konverze na texty dosáhnout poměrně rychle kýženého výsledku. Pokud by import dat byl pro běh webu závažný, měly by se naimportované hodnoty nějak odkontrolovat. Více o tomto tématu bude řečeno v sesterském seriálu o databázi MySQL.

Verze pro tisk

pridej.cz

 

DISKUZE

ukůládání dat ze souboru 23.11.2005 22:58 CATR
|- Re: ukůládání dat ze souboru 24.11.2005 12:18 Petr Zajíc
| |- Re: ukůládání dat ze souboru 24.11.2005 19:12 CATR
| | L Re: ukůládání dat ze souboru 25.11.2005 15:44 Petr Zajíc
| L Re: ukládání dat ze souboru 24.11.2005 19:31 CATR
L Re: ukůládání dat ze souboru 31.8.2017 12:11 Jaromir Obr
Oddělení sloupců 6.4.2008 16:08 Dan Pelíšek
  L Re: Oddělení sloupců 7.4.2008 11:01 Aleš Hakl




Příspívat do diskuze mohou pouze registrovaní uživatelé.
> Vyhledávání software
> Vyhledávání článků

18.6.2018 0:43 /František Kučera

Červnový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 21. 6. 2018 od 18:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát na téma: F-Droid, aneb svobodný software do vašeho mobilu. Kromě toho budou k vidění i vývojové desky HiFive1 se svobodným/otevřeným čipem RISC-V.


Přidat komentář

23.5.2018 20:55 /Ondřej Čečák
Od pátku 25.5. proběhne na Fakultě informačních technologií ČVUT v Praze openSUSE Conference. Můžete se těšit na spostu zajímavých přednášek, workshopů a také na Release Party nového openSUSE leap 15.0. V na stejném místě proběhne v sobotu 26.5. i seminář o bezpečnosti CryptoFest.
Přidat komentář

20.5.2018 17:45 /Redakce Linuxsoft.cz
Ve čtvrtek 31. května 2018 připravuje webový magazín BusinessIT ve spolupráci s Best Online Média s.r.o. pátý ročník odborné konference Firemní informační systémy 2018. Akce proběhne v kongresovém centru Vavruška (palác Charitas), Karlovo náměstí 5, Praha 2 (u metra Karlovo náměstí) od 9:00 hod. dopoledne do cca 15 hod. odpoledne. Konference je zaměřena na efektivní využití firemních informačních systémů a na to, jak plně využít jejich potenciál. Podrobnější informace na webových stránkách konfrence.
Přidat komentář

14.5.2018 7:28 /František Kučera
Květnový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 17. 5. 2018 od 18:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát na téma: Audio – zvuk v GNU/Linuxu.
Přidat komentář

7.5.2018 16:20 /František Kučera
Na stránkách spolku OpenAlt vyšla fotoreportáž Pražské srazy 2017 dokumentující srazy za uplynulý rok. Květnový pražský sraz na téma audio se bude konat 17. 5. 2018 (místo a čas ještě upřesníme).
Přidat komentář

17.4.2018 0:46 /František Kučera
Dubnový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 19. 4. 2018 od 18:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tématem tohoto srazu bude OpenStreetMap (OSM) aneb svobodné mapy.
Přidat komentář

16.3.2018 22:01 /František Kučera
Kulatý OpenAlt sraz v Praze oslavíme klasicky: u limonády a piva! Přijďte si posedět, dát si dobré jídlo a vybrat z mnoha piv do restaurace Kulový blesk, který najdete v centru Prahy nedaleko metra I. P. Pavlova na adrese Sokolská 13, Praha 2. Sraz se koná ve čtvrtek 22. března a začínáme v 18:00. Heslo: OpenAlt. Vezměte s sebou svoje hračky! Uvítáme, když si s sebou na sraz vezmete svoje oblíbené hračky. Jestli máte nějaký drobný projekt postavený na Arduinu, nějakou zajímavou elektronickou součástku, či třeba i pěkný úlovek z crowdfundingové akce, neváhejte. Oslníte ostatní a o zábavu bude postaráno.
Přidat komentář

13.2.2018 0:41 /František Kučera
Únorový pražský sraz OpenAltu se koná 15. 2. 2018 a tentokrát se vydáme na návštěvu do jednoho pražského datacentra. Sejdeme se v 17:50 v severovýchodní části nástupiště tramvajové zastávky Koh-I-Noor. Po exkurzi se přesuneme do restaurace U Pštrosa (Moskevská 49), kde probereme tradiční témata (svobodný software a hardware, DIY, CNC, SDR, 3D tisk…) a tentokrát bude k vidění i IoT brána od The Things Network.
Přidat komentář

   Více ...   Přidat zprávičku

> Poslední diskuze

20.2.2018 18:48 / Ivan Majer
portal

20.2.2018 15:57 / Jan Havel
Jak využíváte služby cloudu v podnikání?

16.1.2018 1:08 / Ivan Pittner
verejna ip od o2 ubuntu

15.1.2018 17:26 / Mira Harvalik
Re: Jak udělat HTML/Javascript swiping gallery do mobilu?

30.12.2017 20:16 / Michal Knoll
odmocnina

Více ...

ISSN 1801-3805 | Provozovatel: Pavel Kysilka, IČ: 72868490 (2003-2018) | mail at linuxsoft dot cz | Design: www.megadesign.cz | Textová verze