Zitat von Freetrack im Beitrag #4
Ich habe mal einen Python-Programmierer in einem ganz anderen Bereich aber mit einer ähnlichen Zielsetzung eine Produktdatenbank ohne API "anzapfen" lassen. Das funktioniert mit überschaubarem Aufwand, das Tool muss aber bei jedem größeren Update der Online-Software angepasst werden.
Mit sowas wäre ich auch sehr, sehr vorsichtig, hier begibst Du Dich auch rechtlich auf dünnes Eis, wenn Du mit Scraping über Lizenzen geschützte Daten aus Datenbanken versuchst abzugreifen. Das kann eine teurer Angelegenheit werden, wenn die Sysadmins auf Zack sind. Auch da ist es eine Frage, unter welcher Lizenz der Content steht, ggf. Begehst du damit auch schon einen Lizenzverstoß, der entsprechend geahndet werden kann auch je nach dem, wei Du die Daten schließend weiterverwertest.
Ich hatte auch so ein "Freundchen", der meinte, er können sich auf die Art Daten aus meiner Datenbank abziehen und für seine eigenen Interessen weiterverwendet, obwohl die Lizenz das verbietet, und er mit seinem Scanning auch gleich noch den Datenbankserver an die Belastungsgrenze getrieben hat, also doppelt Schaden angerichtet hat. Da hatte auch einer Python programmiert, nach ich seine Anfrage, meine Daten für sein eigenes, öffentliches Datenbank-Projekt zur Verfügung zu stellen, abgelehnt hatte.
Generell ist erstmal die größte Herausforderung bei Datenaustausch in umfangreicheren Sinner und zwischen verschiedensten Parteien die Vereinheitlichtlichung des Datenmodells, also welche Felder und wie sie befüllt sind, bzw. bei Austausch zwischen den Parteien die Einigung auf ein einheitliches Format, wo jeder weiß welche Infos er in welchem Feld findet, im sie bei sich in der internen Datenhaltung korrekt übernehmen zu können, bzw. Die eigenen Daten für die anderen verwertbar bereitstellen zu können. Das ist eine komplexe Sache, die erstmal einfach klingt, an der aber schon manche Projekte auch gescheitert sind.