Semalt szakértő a weboldalon végzett adatgyűjtésről - jó és rossz robotok

A webkaparás már régóta fennáll, és hasznosnak tekinthető a webmesterek, újságírók, szabadúszók, programozók, nem programozók, marketing kutatók, tudósok és a közösségi média szakértői számára. Kétféle bot van: jó és rossz. A jó botok lehetővé teszik a keresőmotorok számára a webtartalom indexelését, és a piaci szakértők és a digitális marketingszakemberek kiemelten részesítik őket. A rossz robotok viszont haszontalanok, és célja az, hogy károsítsák a webhely keresőmotorjának rangsorát. Az internetes kaparás jogszerűsége attól függ, hogy milyen botokat használtál.

Például, ha rossz botokat használ, amelyek különböző weboldalakról töltik le a tartalmat azzal a szándékkal, hogy illegálisan használják, akkor a webkaparás káros lehet. De ha felhasználja a jó botokat, és elkerüli a káros tevékenységeket, ideértve a szolgáltatásmegtagadást, az online csalásokat, a versenyképes adatbányászati stratégiákat, az adatok eltulajdonítását, a fiókok eltérítését, az illetéktelen biztonsági rés beolvasását, a digitális hirdetési csalásokat és a szellemi tulajdon eltulajdonítását, akkor az internetes kaparási eljárás jó és hasznos üzleti vállalkozásának az interneten történő bővítéséhez.

Sajnos a legtöbb szabadúszó és induló vállalkozás szereti a rossz botokat, mert olcsó, hatékony és átfogó módszer az adatgyűjtésre, partnerség nélkül. A nagyvállalatok ugyanakkor nyereségükhöz használják a legális webkaparókat, és nem akarják tönkretenni jó hírnevüket az interneten illegális webkaparókkal. A webes krakkolás jogszerűségére vonatkozó általános vélemények nem tűnnek számottevőnek, mivel az elmúlt néhány hónapban világossá vált, hogy a szövetségi bírósági rendszerek egyre több illegális webkaparási stratégiát küzdenek meg.

A webkaparás illegális folyamatként kezdődött meg 2000-ben, amikor a robotok és a pókok használatát webhelyek megkaparására nonszensznek tekintették. 2010-ig nem sok gyakorlatot alakítottak ki annak megakadályozására, hogy ez az eljárás elterjedjen az interneten. Az eBay először előzetes beavatkozást nyújtott be a Bidder's Edge ellen, azt állítva, hogy a weboldalon a robotok használata megsértette a Trespass to Chattels törvényeket. A bíróság hamarosan elrendelte az elrendeléseket, mivel a felhasználóknak el kellett állapodniuk a webhely feltételein, és sok robotot kikapcsolták, mivel rombolóak lehetnek az eBay számítógépes gépeire. A pert hamarosan rendezték a bíróságon kívül, és az eBay mindenkit megakadályozott abban, hogy botokat használjon webkaparásra, függetlenül attól, hogy jók vagy rosszak.

2001-ben egy utazási iroda beperelte a versenytársakat, akik káros pókok és rossz robotok segítségével a weboldal tartalmát kapták le. A bírák ismét intézkedéseket hoztak a bűncselekmény ellen és az áldozatok kedvezően részesültek, mondván, hogy mind az internetes kaparás, mind a botok használata károsíthatja a különféle online vállalkozásokat.

Manapság az egyetemi, magán- és információgyűjtés céljából sok ember támaszkodik a tisztességes webkaparási eljárásokra, és e tekintetben sok webes kaparási eszközt fejlesztettek ki. A tisztviselők szerint ezeknek az eszközöknek nem mindegyike megbízható, ám a fizetett vagy prémium verziók jobbak, mint az ingyenes webkaparók .

2016-ban a Kongresszus elfogadta az első jogszabályt, amely a rossz robotok célzására és a jó robotok támogatására irányult. Megalakult a jobb online jegyértékesítésről szóló törvény (BOTS), amely megtiltotta az illegális szoftverek használatát, amelyek megcélozhatják a webhelyeket, károsítva keresőmotorjaikat és elpusztíthatják vállalkozásukat. Vannak a méltányosság kérdései. Például a LinkedIn sok pénzt költött az eszközökre, amelyek blokkolják vagy kiküszöbölik a rossz botokat, és ösztönzik a jó botokat. Mivel a bíróságok megpróbálták eldönteni az internetes kaparás jogszerűségét, a vállalatok adatait ellopták.