3.08.2016 / Ville Niemijärvi

Microsoft SQL ServerTeen kesän aikana jo toiselle asiakkaalle shortlistaa IT-toimittajista, jotka toteuttavat tietovarastoja, osaavat ETL-työvälineenä Microsoftin SSIS:ää ja mahdollisesti mallintaa data vaultilla.

Tarve on siis hyvin spesifille korkean tason osaamiselle, mielellään serfitikaattien kera.

Tunnen alan toimijat hyvin joten helppo homma?

Ei ihan.

Kukaan ei halua olla duunari

Nykypäivänä ainakin firmojen web-sivujen mukaan kukaan ei tee tietovarastoja. Se on passe. Suorituskyvyn johtamista, koneälyä, big dataa, integraatioratkaisuja, tiedolla johtamista, IoT:tä ja digitalisaatiota tuntuu tekevän kaikki. Mitä ne sitten ikinä tarkoittavatkaan?

Mutta harva asiakas ostaa yhden digitalisaation. Tai yhden integraation. Tai kaksi tiedolla johtamisen konsultaatiota ja yksi suorituskykyn johtamisen ratkaisu. 

Jopa sellaiset yritykset jotka tunnen erittäin hyvin ja tiedän heidän olevan maan huippuja tietovarastoinnissa ja esimerkiksi SSIS-työvälineen käytössä, vaikenevat verkossa täysin näistä taidoista.

Tällöin asiakkaiden on erittäin vaikea ostaa osaamista. Ja kaupat jäävät syntymättä.

Näissä parissa casessa olenkin joutunut kysymään Microsoftilta suoraan, ketkä suomalaiset IT-talot toteuttavat esimerkiksi tietovarastoja Azureen, keneltä löytyy SSIS-osaajia, ketkä hallitsevat teknologian X.

Ja näillä konkreettisilla hakusanoilla asiakkaat usein kumppaneita etsivät. Vaikka tuomiopäivän pasuunat muuta väittävät, tietovarastoja tehdään edelleen täyttä häkää. Ja isoja sellaisia. Ja paljon parempia, monipuolisempia ja fiksumpia kuin vuosikymmen sitten.

Firmat ajattelevatkin varmaan, että tietovarastojen toteutus on liian bulkkia, leimaa heidät duunareiksi.

IT-firmojen pitäisi ottaa mallia Timo Soinista

Kaikki tuntuu haluavan näyttäytyvän korkeamman tason digitalisaation sanansaattajina, oppaina ja konsultteina. Tunnustan: niin mekin.

Tämä ylätason huttu on kuitenkin juuri sitä ihteään. Huttua. Liian epämääräistä, liian korkealentoista, että sillä olisi oikeasti käyttöä. Viestintää joka menee täysin hukkaan.

Toisaalta kun kaikkien tuntema tietovarastoja sorvaava akselirasvaosaston IT-firma koittaa näyttää korkeamman jalostusasteen johdon konsulttifirmalta, Accenturelta, Mckinseyltä ja mitä lie, niin jossain vaiheessa siitä jää kiinni. Viimeistään silloin kun propellipää “konsultti” menee asiakkaan johtoryhmälle puhumaan biteistä ja pilvestä. Sieltä lentää äkkiä niskaperseotteella ulos.

IT-firmojen kannattaisikin ottaa mallia Timo Soinin selkokielenkäytöstä. Puhua. Yksinkertaisin. Lausein. Ehkä firmojen pitäisi popularisoida web-sivujensa viestintä. Kansanomaistaa se.

Olisikin ilahduttavan pirteää nähdä IT-firma, joka toteaa webissä etusivulla: me teemme tietovarastoja Microsoftin teknologialla.

Olen pommin varma, että tällöin tulisi kauppaa enemmän kuin diipadaapalla. Ei ehkä jytkyä mutta kauppaa silti.


Ps. Näihin pariin caseen shortlistit on luotu ja toimittajat on kontaktoitu tai tullaan pian kontaktoimaan. Mutta näitä toimeksiantoja tulee meille kuitenkin yhtä enemmän ja enemmän eteen.

Jotta helpotamme omaa työtämme ja palvelemme asiakkaitamme paremmin, lähdemme ylläpitämään listaa suomalaisista eri tiedolla johtamisen osa-alueille erikoistuneista yrityksistä. Toimimme puolueettomana konsulttina ja etsimme asiakkaalle parhaimman toteutuskumppanin.

Jos yrityksesi on siis erikoistunut tietovarastoihin, data science:en, business intelligenceen, raportointiin tai muuhun tiedolla johtamisen alueeseen, ja olet jatkossa kiinnostunut saamaan tarjouspyyntöjä isoista DW/BI/DataScience/IoT -projekteista, nakkaa vaikka maililla (ville.niemijarvi@louhia.fi)

Teknologioita on pilvin pimein ja kaikkia softia ja niiden osaajia emme ala listaamaan mutta aloitamme ainakin näillä, joista on tullut eniten kyselyjä:

  • ETL-työvälineet: SSIS, Informatica
  • pilviratkaisut: Azure, AWS
  • tietovarastot pilvessä, Paas-ratkaisut: Azure SQL DW, Amazon Redshift
  • big data -ratkaisut osana tietovarastointia ja raportointia, Hadoop etc.
  • data science ja edistynyt analytiikka (tästä olemme jo keränneet kattavan listan)

(Raportointituotteiden osalta peli on selkeämpi ja Tableau, Cognos, QlikView, Birst etc. konsultit löytyy helposti. Ehkä listaamme niitäkin mutta ei nyt)

Olisi kiva tietää:

  • mitä yllämainittuja osa-alueita yrityksenne toteuttaa?
  • hieman osviittaa montako toteutusprojektia on takana, mahdolliset referenssit?
  • osaajien lukumäärät, sertifikaatit plussaa?

Auta meitä auttamaan suomalaisia asiakkaita. Ja sinua siinä samassa.


5.02.2014 / Ville Niemijärvi

sql_server_logoKävin myyntikeikalla asiakkaalla, jolla on käytössä Informatica tietovaraston etl-välineenä (etl = extract-transform-load). Mainitsin, että Microsoftin SQL Serverin Integration Services on huomattavasti edullisempi väline ja tekee saman asian. Sain vastaukseksi epäuskoisen silmien pyöräytyksen ja toteamuksen, että kun pitää siirtää dataa paikasta toiseen, Microsoftilla tekeminen tulee maksamaan ja paljon. Päädyimme olemaan asiassa sivistyneesti eri mieltä ja jatkoimme muulla agendalla. Mutta asia jäi vaivaamaan minua.

Olen tehnyt reilun kymmenen vuoden aikana kymmenittäin tietovarastoja. Näitä on tehty SQL Serverillä (SSIS), Informaticalla, DataStagella, Cognos Data Managerilla ja joskus puhtaasti SQL-skripteillä ilman mitään etl-välinettä. En ole ainakaan itse huomannut latausten suorituskyvyssä tai etl-prosessien toteutusvauhdissa tuotteissa juurikaan eroja. Ja jos joskus toteutustyö on ollut hidasta, se on johtunut vain tekijän ammattitaidottomuudesta tai erittäin hankalasta liiketoimintaongelmasta (yleensä dataa ei ole ollut saatavilla). Tai sitten tietovarasto on vain mallinnettu todella huonosti.

Suorituskykyongelmat ovat järjestään väline- ja tietokantariippumattomia.

SQL Server SSIS on itseasiassa yleisin tietovarastojen etl-työväline mihin itse olen törmännyt ja minkä kanssa olen työskennellyt. SQL Server -tietokanta on yleisin tietovarastojen tietokanta. Missään projektissa, vaikka etl-ajoissa käsiteltäisiin päivittäin miljoonia rivejä, SQL Serverin suorituskyky ei ole aiheuttanut edes keskusteluja. Meillä on paraikaa hallinnassa yhdellä asiakkaalla yli teratavun tietovarasto, joka makaa SQL Serverin päällä, eikä suorituskyky ole mikään kysymys.

Kestääkö toteutustyö kauemmin? Olin itse käyttänyt vuosia Data Manageria kun lähdin tekemään ensimmäistä tietovarastoa SSIS:llä. Kollegani opasti tuotteen käyttöä yhden päivän ajan, jonka jälkeen otin homman haltuun. Suoraan sanoen SSIS:n opettelu kävi puolet nopeammin kuin aikanaan Data managerin. Eli ei, SSIS:llä tietovaraston toteuttaminen ei kestä sen kauempaa kuin millään muullakaan.

En siis ymmärrä mistä moinen käsitys asiakkaalle on tullut?

Pelaa varman päälle – sijoita kalleimpaan mitä löytyy

Onko kyse vain varman päälle pelaamisesta? Olen törmännyt yrityksiin, joissa on pitänyt hankkia tietokanta tai etl-työväline eikä ole tunnettu oikein kunnolla tuotteita markkinoilla. Ja siksi on päädytty kaikista kalleimpaan vaihtoehtoon. Ihan vain varmuuden vuoksi. Näin kukaan ei pääse ainakaan syyttämään tuotteen ostajaa jos jokin menee pieleen.

Ja Informatica on kallis verrattuna SQL Serveriin. Informatican hintaa ei tietenkään tiedä kukaan koska se on tuotteena osastoa: emme kerro hintoja koska haluamme tehdä ostamisen mahdollisimman vaikeaksi (ja vihaamme asiakkaitamme). Mutta olen ymmärtänyt, että kustakin tietokantayhteydestä jotka Informaticaan liitetään, pitää maksaa erikseen. Jos haluat lukea SQL Serveristä (esim. Dynamicsin CRM) dataa Informaticalla, joudut latomaan muutaman kymppitonnin tiskiin. Nopeat Netezza-yhteydet maksavat jo yli satasen. Siis normilisenssin lisäksi (korjatkaa Informatica-expertit jos olen väärässä). Ei kovin käyttökelpoista puhuttaessa tietovarastoympäristöistä, joissa oletuksena on useita eri tietolähteitä ja useimmiten eri tietokantoja joihin pitää liittyä.

Kerran olin tekemässä asiakkaalla raportointia ja uuden tietovaraston tietokantana oli Oracle. Kysyin syytä ratkaisuun ja vastaus oli: “Tietoa on niin paljon, että pitää olla järeä kanta.” Kysyin paljonkos sitä tietoa sitten tulee olemaan? “No miljoonia rivejä, ainakin kymmenen.” En rohjennut enää sanoa, että ilmainen MariaDB olisi ollut varmasti ihan sopiva tietokanta tuohon miniympäristöön.

Vinkki tietokannan/tietovaraston hankkijalle: jos et tiedä, kysy asiantuntijalta. Parin tunnin konsultaatio maksaa jokusen satasen mutta voi säästää sinulle satatuhatta. 

Älä syytä työvälinettä jos et osaa käyttää sitä

Joskus yritys on kokeillut tuotetta omatoimisesti, ilman kunnollista opastusta, koulutusta tai perehdytystä. Työt eivät ole tietenkään sujuneet niin kuin myyntimies-mynttinen näytti ja näin tuote todetaan liian vaikeaksi käyttää tai täysin sudeksi.

Tähän olen törmännyt niin OLAP-kuutioiden kanssa (niin Microsoft kuin Cognos), raportointityövälineissä (Report Studio, Reporting Services) kuin etl-työvälineissä. Asiakkaat ovat haukkuneet esimerkiksi Cognos-kuutiot läpeensä huonoiksi ja kun on alettu selvittämään mistä on kyse, on paljastunut että kukaan ei ole koskaan järjestänyt koulutusta ja niitä ei osata käyttää. Tai pahimmassa tapauksessa kuutioyhteys ei ole päällä ja asiakas on saanut kuutiota avatessa virheviestin eteensä. Ja jättänyt tuotteen käytön siihen, koskaan näkemättäkään sitä tosi käytössä. Ja kerran asiakkaalla vaihdettiin raportointityövälinettä koska konsultti ei osannut käyttää sitä.

Syy ei ole toki asiakkaan: konsultit ja myyntimiehet jättävät asiakkaan liian helposti oman onnensa nojaan uuden tuotteen kanssa eikä kunnollisesta vierihoidosta ja käyttöönotosta huolehdita. Sitten tulee QlikView:n myyntimies ja pyyhkii kaikilla lattiaa ja vie potin.