Scrapen – Big Data genereren

MAAK HET U GEMAKKELIJK

ONTWIKKELEN VAN SCRIPTS OM AUTOMATISCH TE SCRAPEN

Op het internet is heel veel data beschikbaar die interessant voor u kan zijn. Vooral wanneer u internetdata op gestructureerd aangeboden krijgt.

Om een platform te kunnen scrapen, moeten soms ingewikkelde methodieken worden toegepast.

MOBILE APPS SCRAPEN

Eijdems Internet heeft technieken ontwikkeld om nu ook Mobile App Scraping (MAS) toe te passen. Dit maakt het gestructureerd verzamelen van data in grote volumes mogelijk. Het maakt niet uit of dit een Android, IOS of Windows platform betreft.

App-scraping vereist andere technologie dan het scrapen van websites. Factoren die we bepalen hoe de scraping moet verlopen zijn:

  • Hoe de mobile App met de server communiceert
  • Welk protocol de App gebruikt
  • Hoe de informatie wordt verzonden
  • Hoe de App te simuleren op het scraping-platform
  • Hoe de data te lezen en te verwerken

WERKWIJZE DATA SCRAPING

In eerste instantie stellen we samen vast welke data u wilt ontvangen en in welke vorm. Als gevolg hiervan onderzoeken wij de mogelijkheden en beperkingen. U ontvangt daarna een gespecificeerde offerte.

Websites proberen vaak te vermijden dat er scraping plaatsvindt. Eijdems Internet kan in de meeste gevallen deze opgelegde beperkingen omzeilen.

Een interessant artikel met betrekking tot de wetgeving over scraping kunt u lezen op via onderstaande link.

WIJ HEBBEN ERVARING

Met Eijdems Internet heeft u een partij die ervaring heeft op het gebied van big data scrapen en al tal van scraping projecten succesvol heeft opgeleverd.

EEN VOORBEELD VAN SCRAPEN

Een bedrijf wil data hebben van bepaalde bakkerijmachines. Deze machines worden in de Verenigde Staten verkocht. Eerst worden de internet-platforms gezocht waar deze machines aangeboden worden. Vervolgens wordt er meerdere scripts geschreven die deze specieke data gaan scrapen.

U kunt bijvoorbeeld denken aan data als productnummers, sku, EAN code, productnamen, (staffel)kortingen en voorraad. De gegenereerde data wordt vervolgens in een bestand geplaatst die u weer kunt inzien, bewerken en importeren.

Onze opdrachtgever wilde vooral de prijswijzigingen weten en hoeveel aanbod er van een bepaalde machine is.