Verzamelen van content voor data-analyses.
Via ons platform kunnen we specifieke websites op een ethische manier scrapen. Via onze verschillende datacenters scrapen we alles wat er maar te scrapen valt. De gegevens worden gestructureerd bewaard en via beveiligde kanalen aangeleverd. Exportmogelijkheden zijn XML, JSON en CSV. Datatransfer zal in de meeste gevallen gebeuren via SFTP of FTPS.
Stap 1
Definiëren van de datasets
Definiëren van de gegevens die men wil capteren en de periodiciteit. (Enkel data of ook de fysische fotobestanden van artikels of producten). In deze fase zal in eerste instantie ook een offerte kunnen opgesteld worden. De kostprijs zal steeds op maat samengesteld worden. Tal van factoren zullen hier een invloed op hebben:
Stap 2
Hier begint het zware werk
Scrapen op een ethische manier: We zullen steeds voldoende tijd voorzien tussen de verschillende requesten. Het kan uiteraard niet de bedoeling zijn om de scrapende website down te leggen. De teksten en foto’s vallen echter steeds onder het auteursrecht. De klant zal hier zelf de verantwoordelijkheid nemen qua gebruik. In de meeste gevallen zal de data enkel gebruikt worden om analyses op los te laten. (dus geen publicatie)
Stap 3
De eerste test bestanden
Stap 4
Niets is van de eerste keer 100% in orde
Stap 5
Aanleveren van het definitief bestand en opzetten van een scraper job. Deze zal dan bv. om de maand de gegevens scrapen en automatisch aanleveren.
Stap 6
Niet echt nodig bij 1-malige scrapings
Indien de eigenaars van de website een nieuwe versie publiceren, is het mogelijk dat een volledige nieuwe scraper zal moeten ontwikkeld worden. Via een extra scraping-notificatie, zal u onmiddellijk een bericht ontvangen indien een website gewijzigd is van locatie (op basis van IP) en/of een website drastisch is veranderd. (Deze test gebeurt op basis van 5 technische punten.)