Lessen uit de praktijk

Hoewel de meeste organisaties nog vooral veel praten over de kansen en bedreigingen van AI↓De meest dominante associatie met AI is machine learning. Uit onderzoek van de World Intellectual Property Organisation (WIPO) uit 2019 blijkt tevens dat machine learning de meest dominante AI-technologie is die in patentaanvragen is opgenomen. Binnen deze toekomstverkenning richten we ons daarom hoofdzakelijk op machine learning. >Hoofdstuk 1.1
, zijn er steeds meer organisaties die AI in de praktijk toepassen. Dergelijke praktijkervaringen zorgen ervoor dat de discussie omtrent AI minder hypothetisch wordt. Het leert ons steeds beter wat AI is, wat het kan en welke uitdagingen er bij implementatie zijn. We hebben daarom twee Nederlandse organisaties gevraagd om de lessons learned uit de praktijk te delen. We kijken hierbij vanuit twee rollen:

• De ontwikkelaar: Peter Hulsen, partner bij CQM
• De gebruiker: Kim Larsen, CTIO bij T-Mobile
  

Praktijkcase CQM –––––––––––––––––––––––––––––––––––––––––––

Beeldherkenning voor spoorinspecties

Door Peter Hulsen, partner 

1. Wat was de aanleiding en het doel van het project?

Nederland heeft het drukst bereden spoornet van Europa. Gemiddeld maken reizigers elke dag 1,1 miljoen treinreizen – in totaal 152 miljoen kilometers. Alle goederen leggen met elkaar 6 miljoen kilometer af. Het is dan ook van groot belang zorgvuldig en efficiënt met het spoor om te gaan. Veiligheid en betrouwbaarheid staan hierbij natuurlijk voorop. Door monitoring en inspectie van spoorstaven en -wissels is het mogelijk beginnende defecten eerder te zien en vroegtijdig in te grijpen. AI speelt hierbij een belangrijke rol.

In 2016 zijn Inspectation (nu Asset.Insight, het meet- en inspectiebedrijf van VolkerWessels) en CQM begonnen aan de ontwikkeling van automatische beeldherkenning voor spoorinspecties. Vroeger liepen hiervoor mensen langs het spoor, met alle gevaren van dien. Intussen maken speciaal uitgeruste treinen van ieder stukje rail een foto. Dat gebeurt drie of vier keer per jaar. Dit levert een enorme hoeveelheid beelden op die allemaal door inspecteurs worden bekeken. Met behulp van AI hebben we een zelflerend systeem gemaakt voor het automatisch detecteren van mogelijke defecten op het spoor.

2. Welke AI-technologie is ingezet en waarom is hiervoor gekozen?

Voor de automatische spoorinspectie hebben we deep learning-technieken ingezet. Er is een Convolutional Neural Network (CNN) gebruikt voor het automatisch detecteren van mogelijke defecten op het spoor. Dit type deep learning-netwerk is uitermate geschikt voor het herkennen van patronen in afbeeldingen.

Het CNN is getraind met duizenden foto’s die al door de inspecteurs waren beoordeeld. We hebben de foto’s opgesplitst in drie sets (training-, validatie- en testsets) om het netwerk te trainen, tunen en testen. Het netwerk is geïmplementeerd met behulp van het Google TensorFlow framework. Berekeningen worden uitgevoerd op speciale hardware, een Nvidia Titan X videokaart. We hebben hierbij een reeds voorgetraind neuraal netwerk gebruikt om de foto’s te voorzien van veelvoorkomende kenmerken. En daarmee hebben we een maatwerk netwerk getraind voor het herkennen van specifieke defecten als deuken, krassen, roestvorming en diverse scheuren. Naast het trainen en gebruiken van het neurale netwerk, hebben we een proces gedefinieerd om de kwaliteit te kunnen blijven waarborgen en verder te verbeteren.

3. Wat waren de grootste uitdagingen van de implementatie van de AI-technologie?

Een nadeel van het gebruik van neurale netwerken is dat de beslissingen die genomen worden vaak ondoorzichtig zijn. Het netwerk is een soort black box. Daarom hebben we naast de traditionele metrics (zoals accuracy) en aantallen (false positives / negatives) ook Gradient-weighted Class Activation Mapping (Grad-CAM) toegepast om de kwaliteit van het deep learning netwerk te beoordelen. Hierbij wordt elke foto voorzien van een heatmap die de belangrijkste gebieden met betrekking tot het voorspellen van een defect, op de foto markeert. Dit geeft de specialisten een gedetailleerd inzicht in de werking van het neurale netwerk en daarmee vertrouwen in de toepassing ervan. Met name dit soort slimme visualisaties maken het mogelijk om deze complexe, relatief ondoorzichtige technieken toch vol vertrouwen in te zetten in de operationele praktijk. 

Het neurale netwerk kon niet direct door een inspecteur worden gebruikt. Uiteindelijk is het getrainde neurale netwerk in de bestaande beeldapplicatie verwerkt. De inspecteurs zien nog steeds dezelfde foto’s en inspecteren op de vertrouwde manier. Maar in hetzelfde beeld zien de inspecteurs nu ook een grafiek die door het netwerk wordt aangestuurd. Die grafiek geeft de kans op een defect aan. De inspecteurs hebben nu ook de mogelijkheid om alleen ‘verdachte’ plekken op het spoor te bekijken waar de kans op een defect boven een bepaalde drempelwaarde uitkomt.

4. Wat heeft de inzet van AI in het project opgeleverd?

Visuele inspectie is een tijdrovende klus en bovendien onderhevig aan interpretaties van verschillende specialisten. Om de kwaliteitscontrole sneller, nauwkeuriger en robuuster uit te voeren kan dit proces met AI deels geautomatiseerd worden. De voordelen zijn drieledig:

• De huidige kwaliteitscontroles kunnen in minder tijd worden uitgevoerd;
• Er ontstaat een objectieve maat voor kwaliteit;
• Bij het opschalen van de productie zal de benodigde tijd voor inspecties niet lineair meestijgen.

Op dit moment wordt de automatische spoorinspectie dagelijks door de inspecteurs gebruikt. Het huidige systeem is zo ver dat de foto’s voor 99 procent correct worden beoordeeld. De inspecteurs hoeven 80 procent van de foto’s nu niet meer te bekijken. Hierdoor kan een inspecteur vijf keer efficiënter zijn werk doen. De overige foto’s bekijken ze nog wel, maar dan om te beoordelen welke acties nodig zijn om de eventuele defecten te repareren.

Naast efficiency levert dit een betere staat van onderhoud op en dus meer veiligheid en beschikbaarheid van het spoor. Doordat de kwaliteit van de inspectie stijgt wordt ook de staat van onderhoud van het spoor beter. We zien beginnende defecten eerder en kunnen daardoor ook eerder ingrijpen. Dit verhoogt niet alleen de veiligheid, maar ook de beschikbaarheid van het spoor. Hierdoor zal er dus ook minder reizigershinder door onderhoud voorkomen.

5. Wat zou je de volgende keer anders doen?

Ondanks dat het project met Inspectation succesvol is verlopen zijn er wel een aantal verbeterpunten. In het vervolg zouden we graag sneller met een grotere dataset het neurale netwerk trainen. Hierdoor is er eerder zorg voor een efficiënte pijplijn voor het bewerken en verwerken van de trainingsdata. Daarnaast geeft een grotere dataset ook direct meer inzicht in de variatie en moeilijkheden in de data. Verder hadden we meer aandacht moeten en kunnen besteden voor de overdracht van de kennis en het neurale netwerk richting de data scientists van Inspectation.

Praktijkcase T-Mobile ––––––––––––––––––––––––––––––––––––––

AI en telecommunications

Door Kim Larsen, Chief Technology Innovation Officer

1: Wat was de aanleiding en het doel van het project?

De complexiteit van mobiele netwerken wordt steeds groter. Het aantal gebruikers is in de afgelopen decennia exponentieel gestegen en het mobiele gebruikersgedrag is steeds minder voorspelbaar. Daarbij komt dat het netwerk bestaat uit meerdere lagen (2G/3G/4G/5G) en de dichtheid ervan sterk vergroot wordt door wifi. Het handmatig finetunen van de verschillende parameters van dergelijke netwerken is een tijdrovende klus en er kunnen eenvoudig vertragingen optreden bij updates. Deutsche Telekom, het moederbedrijf van T-Mobile, zet daarom steeds meer in op AI. In 2018 is in samenwerking met Uhana, een startup van Stanford University, een cognitieve oplossing geïmplementeerd. De oplossing optimaliseert het zogenaamde Self Optimizing Network (SON) zonder menselijke tussenkomst en werkt in real time. 

2: Welke AI-technologie is ingezet en waarom is hiervoor gekozen?

Er is gebruik gemaakt van een Recurrent Neural Networks↓Recurrent Neural Networks zijn in staat om hun interne status, oftewel geheugen, te gebruiken om reeksen van invoer te verwerken (zoals spraak en video). >Hoofdstuk 1.1  (RNN), dat getraind is door middel van reinforcement Learning↓Reinforcement Learning gaat over leren door middel van trial and error. De voorbeelden worden hierbij niet vooraf gelabeld, maar het algoritme krijgt op basis van de resultaten achteraf feedback. >Hoofdstuk 1.1. RNN is een natuurlijke en efficiënte AI-architectuur als het gaat om tijddomeinmetingen en -verwerking. Het reinforcement-leren zorgt ervoor dat de optimalisatie van zowel het netwerk, als de klantervaringen gecoördineerd en autonoom gebeurt. Het is de bedoeling om geen menselijke tussenkomst te hebben tussen de Uhana Optimizer, de SON en wijzigingen in de netwerkconfiguratie.

3: Wat waren de grootste uitdagingen van de implementatie van de AI-technologie?

Een van de grootste uitdagingen bij het implementeren van AI-systemen in een zeer complexe live-omgeving zijn mensen. De ervaring met dergelijke oplossingen is beperkt, wat van invloed is op het niveau van vertrouwen in deze oplossingen. Tegelijkertijd zijn er vaak onrealistische verwachtingen als het gaat over complexe AI-toepassingen, die voornamelijk in de beginfase van implementatie moeilijk waar te maken zijn. In dit specifieke geval speelt tevens mee dat de datastromen via de interface van een externe leverancier lopen, wat om een transparante samenwerking en veel afstemming vraagt. Bij het inbedden van autonome systemen in een zeer complexe systeemomgeving moet een organisatie aanvankelijk een relatief hoger operationeel risico accepteren.

4: Wat heeft de inzet van AI in het project opgeleverd?

De principes van autonome netwerkoptimalisatie zijn in de basis geverifieerd. Voor meer complexe optimalisatie­doelen zijn de systemen nog niet volledig autonoom, aangezien het beoordelen van de operationele risico’s een doorlopend proces is. Daarbij heeft een beperkte toegang tot de benodigde interfaces van externe partijen voor vertraging van het project gezorgd. Desalniettemin heeft de toepassing van AI in deze context veel potentie. Het kan de kwaliteit van het netwerk vergroten, klantervaringen verbeteren en onderhoudskosten verlagen.

5: Wat zou je de volgende keer anders doen?

Het is essentieel om voorafgaand aan het project uitgebreid in gesprek te gaan met externe leveranciers, met name over de interfaces waarvoor de AI-systemen toegang moeten hebben. De kosten en ontwikkelingstijd voor het openstellen van dergelijke interfaces kunnen zeer aanzienlijk zijn en moeten altijd worden opgenomen in de oorspronkelijke businesscase. Verder kunnen dergelijke projecten niet worden behandeld als zuivere technologieprojecten. Er is een breed scala aan bedrijfsverantwoordelijkheden, risico’s en veiligheidskwesties die vooraf zeer zorgvuldig moeten worden besproken. Dit is met name het geval als een bedrijf overweegt autonome intelligente agents in te bedden in hun bestaande complexe systemen.

–––––––––––––––––––––––––––––––––––––––––––––––––––––––––

Conclusies en vooruitblik

AI is een complex begrip. Het is een verzamelnaam voor verschillende technologieën en voor minstens zoveel toepassingsgebieden. De scheidingslijn tussen AI en standaard analytics is daarbij niet altijd eenvoudig en eenduidig. Het begrip wordt dan ook te pas en te onpas gebruikt. Tot grote frustratie van AI-wetenschappers en ontwikkelaars. Hoe dichter mensen bij de daadwerkelijke ontwikkeling van de technologie staan, hoe meer de urgentie gevoeld lijkt te worden om de hype te ontkrachten en juist te laten zien wat AI niét kan. Karen Hao, AI reporter bij MIT Technology Review, maakte een handige back-of-the-envelope explainer om te kunnen bepalen of er sprake is van AI of niet. 

AI is overal en tegelijkertijd nergens. Toepassingen op het gebied van narrow AI worden steeds sterker en het is inmiddels al een miljardenindustrie. Tegelijkertijd lijkt het benaderen van general AI nog enorm ver weg en blijven het vooralsnog hypothetische discussies. Hierbij wordt de vraag wat intelligentie nu precies is echter vaak overgeslagen. Want weten we eigenlijk wel hoe intelligentie bij mensen werkt? En in hoeverre is dit artificieel te benaderen? Dit vraagt om een beter begrip van intelligentie en de werking ervan. 

Praktijkervaringen leren ons dat de potentie en de voordelen van de inzet van AI groot zijn. AI wordt in steeds meer toepassingsgebieden succesvol ingezet. Tegelijkertijd laat het ook de beperkingen zien. De technologie wordt dermate complex dat we niet zomaar meer onder de motorkap kunnen kijken. En als we dit doen kunnen we steeds minder goed volgen wat er gebeurt. Het is hierbij de vraag in hoeverre we onder onze eigen menselijke ‘motorkap’ kunnen kijken. Kunnen we onze besluitvormingsprocessen automatiseren? En is het antwoord op deze vraag voor elk type besluitvorming gelijk? Het is daarom van belang om te kijken naar de wijze waarop AI zich verhoudt tot menselijke intelligentie en besluitvorming en wat hierbij de voordelen en beperkingen zijn.