Gegevensontsluiting via het ANVA Dataplatform (ANVA Datawarehouse)

Thierry vertelt De groeiende vraag om gegevensontsluiting is een belangrijk onderwerp. Voor jou als klant, maar zeker ook voor ons als softwareleverancier. In het laatste magazine schreven we om deze reden al over onze vernieuwde API-strategie en zoomden we in op onze nieuwe kijk op data middels de samenwerking tussen Hippoline en ANVA. Daarin werd ook al kort aangestipt dat ANVA een nieuw datawarehouse oplossing heeft ontwikkeld voor klanten, het ANVA Dataplatform. In deze blog vertel ik je graag meer over de inzet van de datastore en ga ik verder in op de verschillende mogelijkheden om gegevens te ontsluiten voor gebruik in gekoppelde oplossingen.

De afgelopen jaren zijn er vanuit ANVA verschillende mogelijkheden aangeboden om data uit ANVA-systemen te ontsluiten. Op dit moment gebruiken de meeste van onze klanten de XML-interface en ODBC-koppeling om verschillende systemen te voorzien van gegevens die vastgelegd zijn in ANVA 4/5. Deze koppelvlakken wensen wij graag te moderniseren, om onze klanten sneller, gemakkelijker en veiliger te laten schikken over hun data. Eén van de grootste uitdagingen daarbij is dat deze ontsluiting rechtstreeks op de productiedatabase plaatsvindt met alle bekende problemen van dien.

Real-time vs. non real-time data

Om de juiste stappen te zetten zijn we gestart bij de basis: het uitvoeren van een analyse. Hieruit blijkt dat er twee vormen van ontsluiting wenselijk zijn: real-time data en non real-time data. Onder real-time data verstaan we data die met een korte interval 1-op-1 gelijk is aan de data in de productiedatabase. Zo is een transactie direct zichtbaar bij de volgende ophaalactie. Non-real time doet dit niet. De data wordt in dat geval periodiek bijgewerkt, waardoor de data niet altijd de laatste status zal bevatten. De periode en interval van bijwerken kunnen echter heel kort zijn waardoor het wel voelt als real-time, al is dat het niet.

Voor real-time data koppeling maakt ANVA gebruik van verschillende toepassingen binnen de softwareoplossingen. Hier vertel ik graag later over in een ander artikel. Voor non real-time gegevens heeft ANVA de afgelopen periode veel tijd gestoken in het ontwikkelen van een datawarehouse oplossing (DWH). Een DWH centraliseert en consolideert grote hoeveelheden data uit het volledige ANVA-landschap, waarmee je waardevolle inzichten kan verkrijgen en op een vereenvoudigde manier jouw data kunt ontsluiten, zonder dat dit druk legt op de performance van jouw ANVA-systeem. Om uw eigen DWH-oplossing niet te verwarren met de DWH-techniek die ANVA aanbiedt aan klanten, noemen we de datawarehouse oplossing van ANVA: ANVA Dataplatform.

Techniek Dataplatform (ANVA Datawarehouse)

Het Dataplatform van ANVA die we voor elke klant kosteloos beschikbaar stellen, is gebouwd met behulp van een tweetal tools: Snowflake en Matillion. Snowflake is een datawarehouse-oplossing bestaande uit storage en compute. Storage is de opslag van de data die beschikbaar is binnen het datawarehouse. Compute is de rekenkracht die beschikbaar is om informatie uit of bewerkingen op de data in het datawarehouse uit te voeren. Matillion is een ETL-tool (extract, transform, and load) die gebruikt wordt om de ruwe data uit ANVA-systemen te transformeren naar bruikbare data binnen het Dataplatform. Het voordeel van Matillion is dat databewerkingen op het DWH uitgevoerd worden en daardoor de compute van het datawarehouse gebruikt wordt in tegenstelling tot wanneer de bewerkingen in memory gedaan worden.

Als we kijken naar het proces om ANVA 4/5 data beschikbaar te krijgen in het Dataplatform onderscheiden we de volgende 5 stappen:

  • Data wordt uit de database geëxtraheerd naar CSV-bestanden (ANVA Extract). Dit zijn alleen de bestanden die nodig zijn voor het Dataplatform;
  • De CSV-bestanden worden geüpload naar ANVA’s Cloud omgeving (AWS S3);
  • Matillion start het proces om de ruwe data uit de CSV-bestanden te laden (load) in de Snowflake omgeving;
  • Matillion start een proces om de ruwe data om te zetten naar data in het juist dataformaat;
  • De data is in theorie bruikbaar door partijen om te gebruiken. Om de waarde van het Dataplatform te verhogen wordt er nog een transformatie uitgevoerd;
  • We zijn op dit moment bezig om de data zonder tussenkomst van Matillion op een snellere manier in het DataWareHouse te krijgen met Snowpipe. De data gaat dan rechtstreeks vanuit ANVA 4/5 via ANVA Extract naar Snowflake. Hierdoor kunnen we met een hele korte interval data verversen.  

Voordeel Dataplatform

Het voordeel van het Dataplatform is dat we vanuit verschillende bronnen data kunnen laden en deze vervolgens kunnen samenvoegen om gecombineerde inzichten te verkrijgen. Het eerste voorbeeld daarvan is dat we zowel ANVA 4/5 als ANVA Hub en partnerdata combineren om een compleet overzicht te krijgen van de data in onze systemen. We zijn aan het onderzoeken welke andere externe bronnen we willen toevoegen aan het datawarehouse om zo nog meer gecombineerde inzichten te krijgen in het bedrijfsproces.

Toekomstvisie

Het gebruiken van ons platform biedt ruime mogelijkheden om te innoveren, voor jou als klant, maar ook voor ons als ANVA nu en in de toekomst. Naast BI-oplossingen zien we nog meer potentiële toepassingen. Zo kunnen bijvoorbeeld portalen het Dataplatform gebruiken om gemakkelijk toegang te verkrijgen tot gecombineerde gegevens om vervolgens te tonen aan gebruikers. Machine Learning toepassingen zoals het geautomatiseerd accepteren van polissen of het opstellen van risicoprofielen over de portefeuille bieden ons en onze klanten de mogelijkheid om vergaande automatisering toepassingen in de toekomst te ontwikkelen.

Lees meer

Verdiep je in de mogelijkheden op onze pagina ANVA Dataplatform.

Schrijf je in voor onze nieuwsbrief!

Blijf op de hoogte van de laatste nieuwtjes en schrijf je in voor de ANVA nieuwsbrief