Jak filtruji spam v komentářích?

Proti spamu v komentářích lze bojovat různě — pokud tedy dojdeme k názoru, že s ním je třeba bojovat.

Lze bojovat pasivně — „zneplatňováním” odkazů, atributem nofollow a podobnými technikami, které vložení spamu nezabrání, ale zruší efekt, který od něho spammeři očekávají.

Lze bojovat i aktivně, tedy technikami, které by měly zabránit samotnému vložení spamového komentáře.

Blacklist IP adres či spamových domén je řešení srovnatelné s prvními antiviry, které kontrolovaly „typické vzorky kódu”. Jeho obrovská nevýhoda je nutnost neustále aktualizovat, protože spammeři mění domény a IP adresy rychleji než ponožky.

Blokování určitých typických slov a frází je řešení o něco lepší, protože spousta spammerů se neobtěžuje s tím, aby měnili text, takže vloží třebas deset, dvacet komentářů s naprosto stejným textem a mění jen svoji IP. Na druhou stranu je třeba mít možnost neustále analyzovat nové spamy a hledat charakteristické fráze. Sem spadá i velmi prostý „spamfiltr” založený na blokování značky „A” — ten zase počítá s tím, že každý čtenář je natolik inteligentní, že si přečte, že takové značky vkládat nemá. Navíc s tímhle „filtrem” už někteří spammeři počítají.

Analýza charakteristických znaků je zatím asi nejdokonalejší metodou aktivní eliminace komentářového spamu. Tato technika vychází z rozpoznávání charakteristických znaků spamového komentáře a jejich „ohodnocení”, podobně jako ohodnocuje bayes filtr maily.

Metody „ověření lidskosti”, založené např. na nutnosti opsat nějaké znaky z obrázku, jsou stoprocentně účinné proti robotům. Mají však dvě zásadní nevýhody: Otravují a jsou bezmocné proti spamu vkládanému živými lidmi. (Že takový není? Bude zítra!)


Pro Neškodný jsem použil kombinaci analýzy textu a blokování typických frází. Jednoduchý skript má asi 200 řádků a jeho výsledky jsou pro mne velmi uspokojivé: Od 29.9. do této chvíle bylo vloženo 257 komentářů. Z toho bylo 57 spamových, tedy 22%. Spamfiltr zachytil 54 spamkomentářů, tři propustil. Úspěšnost je tedy cca 95% Jeden nespamový komentář (z dvou set) byl vyhodnocen jako spam — tedy 0.5% planých poplachů.

Jsem spokojen a mám pocit dobře odvedené práce...

Podstatně větší problém je s trackback spamem. Od půlky května přišlo 71 trackback pingů, z toho bylo 70 spamů. Jevilo se mi proto mnohem rozumnější vypnout celý trackback systém než psát filtr — i když už mám připraven i ten, opět založený na kombinaci analýzy obsahu a filtrování profláknutých frází. Uvidíme, jak obstojí v testování.