Din strategi för att hantera webbbots måste ta hänsyn till affärssammanhang

Denna leverantörsskrivna teknikprimer har redigerats av Network World för att eliminera marknadsföring av produkter, men läsarna bör notera att det troligen kommer att gynna avsändarens strategi.

Mellan 30% -70% av trafiken till de flesta webbplatser kommer från bots, vilket betyder att det är icke-mänsklig trafik. Och medan många antar att bottrafiken bör blockeras, är det en svartvit inställning till ett problem som är mycket grått. Verkligheten är att vissa bots är bra, vissa bots är dåliga, men de flesta kommer att vara någonstans däremellan. Vad du behöver är ett botthanteringsverktyg som låter dig tillämpa en rad hanteringsåtgärder baserade på din webbplats affärsmodell.

Tänk på flygbranschen. En typisk webbplats för flygbokningar kan se 50% av trafiken från mänskliga besökare, medan de andra 50% kommer från bots. Medan den första tanken ofta är att blockera bottrafiken, är ett mer effektivt tillvägagångssätt att förstå varför bots är här och vad påverkan på verksamheten.

Flygindustrin är mycket konkurrenskraftig med flygbolag som tävlar på scheman och priser över tusentals rutter varje dag. Flygtidtabeller och priser är mycket varierande från en dag till en annan och fluktuerar också snabbt baserat på utbud och efterfrågan - priserna stiger när varje plan fylls och vice versa. Konsumenter som försöker få det bästa priset, konkurrenterna försöker vinna dina kunder och partners försöker hjälpa kunderna att få de bästa priserna och alla är beroende av kontinuerlig tillgång till den senaste informationen.

Att tillhandahålla denna datatillgång kommer med en kostnad. De flesta flygbolag lagrar faktiskt inte sina flygplaner och priser i huset. De använder ett globalt distributionssystem (GDS), som Amadeus eller Sabre. Varje gång någon letar upp flygdata innebär det ett samtal till GDS. Och varje samtal till GDS, oavsett om det kommer från en människa eller en bot, medför en kostnad, som kan vara betydande över stora volymer - i storleksordningen hundratusentals dollar varje månad. Med konsumenter och partners är GDS-kostnaden inbyggd i försäljningskostnaderna. Med konkurrenter är det dock bara en förlorad kostnad utan potentiell fördel.

Allt detta är affärsmässigt sammanhang som måste beaktas i en konversation om bots, eftersom det hjälper oss att fastställa de tekniska kraven för en bothanteringslösning. Först vet vi att blockering av bots inte fungerar. Flygindustrin är en global industri på 700 miljarder dollar. Både konkurrerande flygbolag och konkurrenskraftiga underrättelsetjänster som säljer till dem har ett enormt ekonomiskt incitament att få flygdata och fånga en större andel av de intäkterna på 700 miljarder dollar. Att blockera deras bot får dem inte att försvinna. Blockering låter dem bara veta att du har upptäckt deras bot. Och det får dem bara att utveckla sin bot för att undvika dina upptäckter.

För det andra kan det vara extremt svårt, om inte omöjligt, att skilja mellan goda och dåliga bots. Även om du alltid kan vitlista bots från ett litet antal auktoriserade partners, har resebranschen många mindre sökmotorer och resesidor. Dessa mindre platser hamnar i ett grått område av obehöriga partners som, även om de kanske inte har ett formellt förhållande till flygbolagen, fortfarande fungerar som en potentiell kanal för försäljning till kunder. Detta innebär att blockering av okända bots sannolikt kommer att fånga dessa obehöriga partners och ha en oväntad inverkan på försäljningen.

Så hur löser du affärsproblemet på ett meningsfullt sätt samtidigt som du är medveten om att många okända bots kan bidra till försäljningen? Bothantering måste gå längre än att blockera och göra det möjligt för organisationer att tillämpa ett större utbud av hanteringsåtgärder eller botsvar.

Till exempel i flygbranschen är själva botstrafiken inte det primära problemet. Det primära problemet är de höga kostnaderna för GDS-uppslag som görs av bots som besöker bokningssidan. Du kan lindra detta problem utan att försöka blockera massor av massor genom att använda data lagrade i cache för att svara på botfrågor för flygtider och priser. Genom att betjäna bots med cachelagrad data kan vi dramatiskt minska antalet samtal till GDS utan att varna botoperatören om att vi har upptäckt dess bot. Detta hjälper till att minimera de höga företagskostnaderna förknippade med bots, samtidigt som hastigheten på botutvecklingen saktas ner och utan att stänga dörren för inkrementella kunder och försäljningsintäkter genom obehöriga (och okända) partners.

Situationen ovan är inte begränsad till flygbranschen. Gränsen mellan bra och dåliga bots blir alltmer suddig i de flesta branscher, vilket gör det svårt för någon organisation att använda en svartvit inställning som att blockera.

Online-modeförsäljning ger ytterligare ett fascinerande exempel. De flesta modehandlare säljer idag direkt till konsumenter via sina e-handelswebbplatser, förutom brick-and-mortel-butiker. Med en B2C-modell är det alltid frestande att tro att du bara kan blockera besökare som inte är mänskliga på din e-handelswebbplats under antagandet att de inte bidrar till försäljningen.

Vad detta antagande missar är att konsumentbeteendet ständigt förändras och hur de konsumenterna interagerar med ditt online-märke och din webbplats förändras också ständigt. Konsumenter i dag köper inte längre merparten av sina kläder från ett enda märke, utan istället köp butiker av flera varumärken. Dessutom söker många efter en introduktion till nya och olika märken. Detta innebär att konsumenterna aktivt går till tredje part för nya idéer och rekommendationer.

Tänk på Fashiola. Fashiola är en av en ny ras av specialiserade sökmotorer som fokuserar på en nisch på sökmarknaden - i detta fall online-modeförsäljare. Även om de ännu inte är på radarn för stora märken - särskilt utanför Europa - hjälper Fashiola att ansluta miljoner användare med över 1 800 olika märken, vilket representerar en potentiell kanal för att nå konsumenterna. Om du till exempel var ute efter ett par blå mockaskor, kan du bara gå till Fashiola, skriva in "blå mockaskor" och se relevanta erbjudanden från över 1 800 märken.

Precis som du kan förvänta dig, följer Fashiola med de förändrade produkterna och priserna över de märken som de indexerar med automatiska bots. Fashiola och andra webbplatser som det, bevisar att det inte längre är möjligt att använda en enkel svartvit inställning till bots. Det traditionella tillvägagångssättet att blockera bots som standard, medan du väljer några kända bra bots, antar att du känner till alla bots som är bra. Men när antalet och mångfalden av goda bots ändras dagligen, kan organisationer inte möjligen hålla reda på dem alla. En standardställning för att blockera bots riskerar att saknas snabbt förändrade konsumentbeteende och inte delta i nya affärsmodeller och därmed stänga dörren för inkrementell försäljning.

När det gäller bots, är sammanhanget viktigt. Konsumenter, partners, konkurrenter och andra interagerar med dig och din webbplats på nya och andra sätt än tidigare. Därför är det mer troligt än någonsin att blockera bots som en standardstrategi att skada verksamheten - och på oförutsägbara sätt.

Bra, dåliga eller något gråa, hantera bots bör börja med det affärssammanhang som bots har och överväga vilken roll de spelar i din onlinestrategi. Genom att använda mer lämpliga hanteringsåtgärder för att bättre hantera bots kan du utnyttja de positiva sätten på vilka de kan hjälpa ditt företag, samtidigt som de negativa minimeras.

Gå med i nätverkets världssamhällen på Facebook och LinkedIn för att kommentera ämnen som är övertygade.