10 MILIONÓW REKORDÓW

Uczcijmy Nowy Rok 2010 czymś specjalnym...

Film:
http://afin.net/webcasts/Demo_10mlnsRecordsDatabase.swf
(Czyli - 10 milionów na 2010!)

Opis środowiska:
Standardowy plik przykładu AFIN.NET pn. 'faktura' (19-to wierszowy    
rejestr faktur) zaimportowałem do Oracle Database 10g Express    
Edition (Tak nawiasem, Oracle jest strasznie tajemny.) do tabeli    
'faktura'. Następnie stworzyłem bliźniaczą tabelę 'faktura2',    
składając tabelę 'faktura' ponad 500.000 razy. Powstała tabela o    
prawie 10 milionach rekordów.

Na filmie pokazano:

1. Przegląd środowiska, czyli tabel w webowym interfejsie Oracle    
(kiepski, nie można np. tabel przewijać)

2. Program, tworzący mini-hurtownię danych
a) ranking klientów wg sprzedaży (grupowanie, sumowanie,    
sortowanie)
b) ranking miast wg sprzedaży (jak wyżej + złączenie tabel ze    
słownikiem 'odbiorca')
c) jak w pkcie a) z dodatkową miarą - zliczanie rekordów
Program uruchomiono najpierw na tabeli 19-to rekordowej, a    
następnie na tabeli o 10 milionach rekordów. Czasy: dla tabeli    
'19' - kilka sekund, dla tabeli '10.000.000' - mniej niż 50 sekund,    
łącznie z odtworzeniem bazy, wyklejaniem danymi, eksportem, itp.

3. Przegląd mini-hurtowni, czyli pliku Accessa z danymi oraz pliku    
eksportowego (xls)

Wnioski:

1. Słyszeliście te jęki BIajków, że w Excelu nie da się nic    
zrobić, z czymś, co ma więcej, niż 1.000.000 wierszy? A to, że    
tylko ich aplikacje są efektywne? A to, że jakiś tam Pan na kilka    
zapytań na 4 milionach rekordów dawał mi 10 minut?
Śmieszne, no nie?

2. Odświeżenie ogromnej hurtowni danych z bardzo poważnej bazy    
danych trwa stosunkowo krótko - minutę lub kilka.

3. Wszystko niskokosztowymi narzędziami. Wszystko dostępne    
sieciowo.

4. Wszystko sterowane Excelem (+ AFIN.NET). Jawne, przejrzyste,    
poprawialne, czytelne.

Pomyślcie teraz, ile kosztują narzędzia i usługi BIajków.
A efekt taki sam lub... gorszy (bo sztywny)