Bot Logger

Scripte > Control

Zugriff von Bot-Spidern erfassen

Mit diesem Skript wird automatisch in der Datei botlog.txt festgehalten, wenn wie im Beispiel ein Spider Google-Bot, Baidu-Bot oder Bing-Bot auf Deiner Homepage vorbeigeschaut hat.

In einem Unterverzeichnis befinden sich die Dateien "botlog.php, botlog.txt, botview.php (botview.php~)". Die Datei "botlog.php" enthält den eigentlichen Code der die Daten des Spiders ausliest, in der Datei "botlog.txt" werden die Daten gespeichert und mit der Datei "botview.php" kann die Text-Datei angesehen und/oder bearbeitet werden.

ZIP-Datei entpacken und Verzeichnis "wsX5Obj" auf den Webserver ins Root-Verzeichnis kopieren.

Wichtig:

Die aufrufende Datei muss die Dateiendung .php aufweisen.

Beim Einfügen des HTML-Codes in den Body-Bereich der Seite sollte beachtet werden, dass beim Einfügen der zweiten Zeile des Codes (der Button), auch Nutzer Einsicht in die Log-Daten haben. Will man das vermeiden, empfielt sich die zweite Button-Code-Zeile in einem geschützten Bereich einzufügen.

Downloads:

(Die "Text speichern" -Button sind hier in der Demo inaktiv)

Code für den <BODY> Bereich

<?php include("wsX5Obj/Obj94_0/botlog.php"); ?>

oder neues Fenster:

<?php include("wsX5Obj/Obj94_0/botlog.php"); ?>

<input type="button" value="Bot-Log Editor"

onclick="window.open('wsX5Obj/Obj94_0/botview.php', 'einNeuesFenster');" />

Nach dem <BODY> Tag

Code Datei "botlog.php"

<?php

$host = gethostbyaddr($_SERVER['REMOTE_ADDR']);
$domain = explode(".", $host); $domain_array = count($domain)-2;

// Google-Bot-Check

if ($domain["$domain_array"] == "googlebot"){

$msg = "Google-Bot: " . date("d.m.Y H:i") . " | ";
$msg .= "IP-Adresse: " . $_SERVER['REMOTE_ADDR'] . " | ";
$msg .= "Hostname: " . gethostbyaddr($_SERVER['REMOTE_ADDR']) . "\n";
$Dateiname = "wsX5Obj/Obj94_0/botlog.txt"; //TXT-Ausgabedatei bestimmen und anlegen
$Datei = fOpen($Dateiname,"a+");
fPuts($Datei,$msg);
fClose($Datei);
}

// Baidu-Bot-Check

if ($domain["$domain_array"] == "baidu"){

$msg = "BAIDU-Bot: " . date("d.m.Y H:i") . " | ";
$msg .= "IP-Adresse: " . $_SERVER['REMOTE_ADDR'] . " | ";
$msg .= "Hostname: " . gethostbyaddr($_SERVER['REMOTE_ADDR']) . "\n";
$Dateiname = "wsX5Obj/Obj94_0/botlog.txt"; //TXT-Ausgabedatei bestimmen und anlegen
$Datei = fOpen($Dateiname,"a+");
fPuts($Datei,$msg);
fClose($Datei);
}

// Bing-Bot-Check

if ($domain["$domain_array"] == "bingbot"){

$msg = "MSN-Bot: " . date("d.m.Y H:i") . " | ";
$msg .= "IP-Adresse: " . $_SERVER['REMOTE_ADDR'] . " | ";
$msg .= "Hostname: " . gethostbyaddr($_SERVER['REMOTE_ADDR']) . "\n";
$Dateiname = "wsX5Obj/Obj94_0/botlog.txt"; //TXT-Ausgabedatei bestimmen und anlegen
$Datei = fOpen($Dateiname,"a+");
fPuts($Datei,$msg);
fClose($Datei);
}

?>

Das Skript kann natürlich den eigenen Bedürfnissen je nach Informatiosbedarf angepasst und auch erweitert werden.

Dazu muss das Skript mit dem entsprechenden Bot nur ergänzt werden. Natürlich kann man auch mehrere Abfragen getrennt nach Bots einbauen.

MSN zum Beispiel gibt dazu einige Auskünfte:

(Es gibt mehrere Crawler für unterschiedliche Inhalte)

MSNBot – erfasst textbasierte Inhalte für Live.com

MSNBot-Media – Bilder und alle anderen Mediendateien für images.live.com.
MSNBot-NewsBlogs – erfasst Nachrichten und Blogs. search.live.com/news
MSNBot-Products – Produkte & Shopping products.live.com
MSNBot-Academic – Akademische Suche academic.live.com

Feedbacks zu ""

Kein Kommentar

Vielen Dank für Dein Feedback.