Inlezen transportdocumenten
Van theorie naar praktijk
Als bedrijf streef je graag naar een vorm van standaardisatie in je interne en externe communicatie. Toch blijft een aanzienlijk deel van de communicatiestroom vaak ongestructureerd. Je kan AI toepassen om deze communicatiestroom te structuren en automatiseren. Dat helpt je om met minimale menselijke tussenkomst documenten te lezen en te klasseren, deze documenten door te sturen naar de juiste contactpersonen en zelfs deze documenten automatisch te beantwoorden. Dit bespaart je tijd, voorkomt menselijke fouten en automatiseert jouw productieproces verder.
Toepassingen
Een PDF, een Excel formulier, een Word bestand, je ontvangt deze soort documenten waarschijnlijk dagelijks in je mailbox. Je klikt ze open, en vervolgens wil je zo snel mogelijk de relevante informatie in het document vinden. In veel gevallen wil je graag ook nog iets doen met die informatie: het ondertekenen en terugsturen, cijfers kopiëren en plakken in een ander document, het document aanvullen met nieuwe cijfers, enzoverder. Dat kost natuurlijk allemaal tijd en middelen, zeker als je dit herhaaldelijk moet doen.
AI helpt je documenten sneller en makkelijker verwerken. Met behulp van documentherkenning - een subtype van AI - scan je de inhoud en vorm van documenten automatisch en intelligent. Intelligent betekent hier dat de AI specifieke elementen voor jou uit de tekst kan halen. Jij hoeft daarbij niets te lezen. Je krijgt bijvoorbeeld elke maand een heel deel facturen binnen. Die moeten allemaal gelezen en gecontroleerd worden. AI kan deze facturen automatisch verwerken en een seintje geven wanneer er onregelmatigheden zijn. Zo worden menselijke werknemers minder belast door routinematig werk en kunnen zij zich beter focussen op belangrijke zaken.
Misschien vullen jouw werknemers vaak handmatig documenten in, zij het digitaal of fysiek. Maar bij het handmatig invullen van documenten sluipt al snel eens een fout in. Met behulp van documentherkenning kun je dergelijke fouten vermijden. Denk bijvoorbeeld aan complexe transportdocumenten waarbij alle informatie correct moet zijn, anders kan de vracht niet vertrekken.
Vereisten
Data
- Hoeveelheden tekst waarin de te herkennen fragmenten digitaal aangeduid werden
- ~Tekst kan afkomstig zijn uit e-mails, sociale media, chat, gedigitaliseerde documenten...
- Ofwel ingescande/gefotografeerde documenten waar digitaal aangeduid werd welke informatie zich waar bevindt.
Hardware
- Camera of documentscanner
Algoritme
- Classificatie-algoritme voor tekstfragmenten en/of visuele herkenning
- ~Convolutioneel of recurrent neuraal netwerk
Aandachtspunten
- OCR recognition is reeds op de markt en moet niet heruitgevonden worden. Er bestaan meerdere commerciële toepassingen van Optical Character Recognition voor het herkennen van fysieke documenten. Deze kunnen in meer of mindere mate omgaan met veranderende formaten.
- Zorg voor een training set met voldoende variatie in documenten. Het is belangrijk dat de documenten waar je op traint voldoende verschillende formaten verwachten. Er is “voldoende” variatie wanneer deze als geheel een realistische weergave geven van de diversiteit die je straks in de operationele setting zou verwachten.
- Van suggestief naar volautomatisch. Om vertrouwen in de oplossing op te bouwen is het aangewezen om gedurende een periode de oplossing semiautomatisch uit te rollen, waarbij er steeds een mens als controlemechanisme in het proces zit. De oplossing doet dan een suggestie m.b.t. de herkende fragmenten die door de mens bevestigd of gecorrigeerd moeten worden.
- Trainen kan enkel wanneer je geannoteerde documenten ter beschikking hebt of aanmaakt. Je zal tijd en resources moeten voorzien om de beschikbare data (tekst dan wel afbeeldingen van documenten) te “labelen”. D.w.z. voor elk document digitaal aanduiden waar de fragmenten die het algoritme hoort te ontdekken zich bevinden.
- Gelijkenissen met image recognition. Deze toepassing is eigenlijk een variant van een multi-class classificatie probleem dat je toepast op hetzij tekstdocumenten hetzij afbeeldingen. Je wilt namelijk op een document/afbeelding kunnen identificeren waar relevante blokken van informatie zich bevinden. Gezien de gelijkenissen kan je dus dezelfde algoritmes en dezelfde principes gebruiken als in image processing.
Stappenplan
- Identificeren van te herkennen fragmenten in een tekst en/of afbeelding
- Capteren van trainingsdataset
- ~Verzamelen van tekstdocumenten en/of beeldinformatie
- ~Annoteren van tekstdocumenten en/of beeldinformatie: aangeven waar de te herkennen fragmenten zich bevinden
- Voorverwerken van trainingsdataset
- ~Opdelen van dataset in training, validatie en test samples
- ~Normaliseren van dataset
- Downloaden/aankopen van voorgetraind NLP-model of document recognition model
- Trainen/verfijnen van voorgetraind model
- Evalueren van performantie van verfijnd model a.h.v. test dataset
- Operationaliseren van data pipeline voor inkomende tekstfragmenten/documenten
- Operationaliseren van model
- Operationaliseren van verbeterd proces met human in the loop
- Operationaliseren van volledig geautomatiseerd proces met hands-off monitoring
Interessante links
Partners
Hulp nodig bij de implementatie van deze AI-toepassingen?
Ontdek hier enkele technologiepartners.
