Business Intelligence - telewizja a zakupy

Jeżeli walczymy z Business Intelligence to chociaż wiedzmy, o co.

Według klasycznej (obecnie, bo to się niedługo zmieni) architektury BI, to BI odpowiada za interfejs. To BI ma dane, a na końcu procesu przetwarzania udostępnia je maluczkim w jakimś interfejsie.
Ten interfejs się wyklarował na przekór BI - został nim Excel. Więc wszystkie BI chcą upodobnić swój interfejs do Excela.
To tak, jak telewizja. Stacje robią - my tylko oglądamy.

My takie podejście nazywamy "pchaniem danych".

Według naszej definicji BI, to Excel (no dobra - arkusz) jest centrum świata.
Nie interfejsem - zarządcą wręcz. On łączy się, on pobiera, on zarządza przetwarzaniem (poprzez SQL-ki), on, wreszcie, wszystkim "kieruje". On publikuje, itp.
To tak, jak zakupy. Chcemy chleb, idziemy do piekarni po 1 chleb, chcemy masło, chcemy samochód, itp.

My to nasze podejście nazywamy "ciągnięciem danych".

Tym się różnimy.
A to, że cały świat dąży do architektur "klienckich", jest wodą na mój młyn.
Cierpliwie czekamy więc na naturalne dojrzewanie świata. Może ktoś chce być prekursorem?

AFIN.NET - Przepływ informacji

Nowy schemat AFIN.NET, 2011.01

Przepływ informacji w systemie informacyjnym z hurtownią danych    
AFIN.NET
(Ta hurtownia to coś bardzo podobnego do MS BI, ale niekoniecznie    
SQLS)

Opis:
Dane są gdzieś, dla AFINA nieważne, gdzie - potrafi pobrać z    
dowolnego źródła.
Dane zasilają, okresowo lub na żądanie, hurtownię danych - tworzymy    
taki byt na jakimś serwerze, ale może to być hurtownia plikowa    
(np. w małych firmach MS Access albo Firebird - Skąd mój nagły    
afekt do Firebird'a? Okazuje się 10 razy szybszy, niż Access w    
zapytaniach detalicznych)

I teraz, clou tematu:
Hurtownia jest - zawiera bardzo dużo danych. Żeby z nich efektywnie    
korzystać, trzeba odpytywać ją detalicznie. Jak odpytywać detalicznie dużą bazę danych, bo hurtownia taka ma znaczne rozmiary?
Czyli nie: "daj mi pivot cache'a dla takiej a takiej tabeli    
przestawnej" (szczytowe osiągnięcie MS BI), ani nie "daj mi    
wszystkie dane z tabel, a ja sobie złożę tabelę przestawną"    
(szczytowe osiągnięcie IMA, np. Power Pivot Excela 2010), tylko:

1. Hurtownia pobiera dane i je przetwarza (tzw. DTS)
(Zysk z obróbki serwerowej)
2. Hurtownia dzieli dane na data marty (wydzielone fragmenty    
hurtowni), albo tematyczne, albo "oddziałowe" i wystawia je jako    
widoki lub pliki do pobrania przez mini-hurtownie tematyczne lub    
oddziałowe (owe data marty).
(Zysk z szybkości hurtowego podziału i danych)
3. Data marty pobierają dane albo okresowo, albo na żądanie,    
tworząc mini hurtownie (rozdzielone tematycznie, zadaniowo lub według innego klucza, np. "oddziałowo") dostępne już po sieci lokalnej lub,    
wręcz, na końcówkach analityków - najlepszym rozwiązaniem jest    
prosta sieć microsoftowa w dziale analiz.
(Zysk z hurtowego poboru wydzielonych i przetworzonych danych)
4a. Excel na stanowiskach analityków pobiera dane albo tabelami    
(Query, "connetions", itp.) albo "pivot cache-ami", czyli, po prostu,    
tabelami przestawnymi (ścieżka, opisywana jako excelowa strona    
MS BI)
(Zysk - szybkość tworzenia raportów tabel przestawnych oraz    
dostępu do danych tabelarycznych)
4b. To samo, co powyżej, tylko... np. Open Office Calc-iem. Też    
tak potrafi, trochę gorzej, ale potrafi!
(Zysk - darmowy klient hurtowni danych!)
4c. AFINEM, czyli zapytaniami detalicznym do dowolnej    
tabeli/kostki/widoku albo data martu na końcówce, albo na sieci    
lokalnej, albo w hurtowni danych.
(Zysk - możliwość szybkiego, wręcz natychmiastowego, stworzenia    
dowolnego raportu ad-hoc z dowolnych danych, na dowolnym stopniu    
przetworzenia)

Wszystkie zapytania mogą być realizowane jednocześnie,    
równolegle, z jednego raportu - arkusza Excela.
(Zysk - To my, analitycy, tworzymy raporty, a nie jacyś tam, nic    
zwykle niewiedzący, ale zawsze bardzo drodzy, konsultanci)

Firebird...

Trafiłem na to dość przypadkiem, w trakcie poszukiwań.
Zainstalowałem, bo taki mam mus wewnętrzny, chociaż nikt ze    
znajomych nie używa, nie poleca, itp.
Odrobina zamieszania z instalacją nie popsuła mi humoru - jak    
ktoś chce instalować, niech zapyta, żeby nie powtarzać tych    
samych błędów.

I jest!
Proste ODBC (bo z punktu widzenia excelowca tylko to nas    
interesuje), małe instalatory (baza, ODBC).

Zalety:
Na razie jestem pod wrażeniem SZYBKOŚCI odczytów. Gmeram dalej...
Może ktoś chce pomóc?

O MAMO!!!
500 funkcji w Excelu 2003, stary komputer
Access - 14 sekund
Firebird - 2 sekundy (!)
(dokładnie: 2.000 funkcji w 6 sekund, czyli ok. 1,5s / 500 funkcji)
Ja coś kiedyś pisałem, że Access jest szybki? Tfu!...


Wady:
Cóż, trochę jak Postgre i MySQL - własne typy pól - trochę    
komplikuje tworzenie hurtowni, ale AFIN, odkąd przeszedł w tym    
temacie niedostępność Oracle'a i DB2, to już jakiś tam Firebird    
to Pan Pikuś.

Analiza logu internetowego 2

No to jest i kostka.

Kto chce pooglądać log witryny internetowej pyk-pyk w tabeli przestawnej?
Tam trochę zamieszałem, żeby zbyt dużo nie było widać ;)
Ale widać np. to, że oglądalność filmików znaaaaaacznie wzrosła. Kilkaset dziennie!
Jeszcze jaki Oskar będzie? ;)

Sama kostka i przykładowa analiza:
http://afin.net/samples/Cases/Solutions/AfinNetDomainLogAnalysis/

Takie coś do zrobienia w AFINIE w godzinkę.