Lesen Sie Artikel hinter Paywalls, indem Sie sich als Googlebot tarnen

Das Internet steht an einem Wendepunkt. Der anhaltende Anstieg der Werbeblocker hat das Einnahmemodell beendet, das für den Betrieb von Websites und Unternehmen ausschließlich auf Werbedollar basiert.

Insbesondere Nachrichten-Websites haben begonnen, mit Möglichkeiten zur Diversifizierung der Einkommensquellen zu experimentieren. Eine der wichtigsten Optionen, die Websites wie das Wall Street Journal, die Financial Times, die New York Times oder die Washington Post implementiert haben, ist das Paywall-System.

Es gibt verschiedene Arten von Paywalls, die jedoch alle gemeinsam haben, dass sie den Zugriff auf Inhalte entweder direkt oder nach dem Lesen einer bestimmten Anzahl von Artikeln vor Ort blockieren.

Die Besucher werden gebeten, die Website zu abonnieren, um die Artikel zu lesen.

Aus geschäftlicher Sicht mag dies Sinn machen und lukrativer sein, als sich mit Nutzern zu messen, die Adblocker einsetzen, aber sowohl für die Paywall-Site als auch für den blockierten Nutzer ist dies ein Nachteil.

Websites verlieren einen hohen Prozentsatz an Besuchern, wenn sie ein Paywall-System implementieren. Es ist unklar, wie hoch der Prozentsatz tatsächlich ist, und er variiert wahrscheinlich von Site zu Site, aber er ist wahrscheinlich viel höher als der Prozentsatz der Besucher, die die Site abonniert haben, nachdem ihnen die Möglichkeit geboten wurde, den gewünschten Artikel zu lesen.

Maskiere deinen Browser

Es ist kein Geheimnis, dass Nachrichten-Websites den Zugriff auf Nachrichtenaggregatoren und Suchmaschinen ermöglichen. Wenn Sie beispielsweise Google News oder die Suche überprüfen, finden Sie Artikel von Websites, auf denen Paywalls aufgeführt sind.

In der Vergangenheit ermöglichten Nachrichten-Websites den Zugriff auf Besucher, die von großen Nachrichtenaggregatoren wie Reddit, Digg oder Slashdot kamen, aber diese Praxis scheint heute so gut wie tot zu sein.

Ein weiterer Trick, den Titel des Artikels in eine Suchmaschine einzufügen, um die zwischengespeicherte Geschichte direkt darauf zu lesen, scheint nicht mehr richtig zu funktionieren, und Artikel auf Websites mit Paywalls werden normalerweise nicht mehr zwischengespeichert.

Update : Das Wall Street Journal gab bekannt, dass es die unten beschriebene Lücke schließen wird. Sie können weiterhin Artikel hinter der Paywall der Site lesen, indem Sie die folgende Methode verwenden:

  1. Drücken Sie die Taste F12, wenn Sie sich auf der Artikelseite mit dem ausgeschnittenen Artikel und der Aufforderung zum Abonnieren befinden, ihn vollständig zu lesen.
  2. Öffnen Sie die Konsolenregisterkarte.
  3. Fügen Sie Javascript ein: window.location = "// m.facebook.com/l.php?u="+encodeURIComponent(window.location.href);
  4. Drücke Enter.

Die Seite sollte neu geladen werden und der Artikel sollte vollständig geladen werden. Sie können den Artikel-Link auch auf Facebook posten, beispielsweise in einem neuen Beitrag, den nur Sie sehen können. Wenn Sie auf den angegebenen Link klicken, wird der Artikel vollständig auf der Website des Wall Street Journal geladen.

User-Agent und Referrer

Sie fragen sich wahrscheinlich, wie Websites den Zugriff auf die Inhalte der Website blockieren oder zulassen. Die Methoden haben sich im Laufe der Jahre verbessert und es reicht nicht mehr aus, den Verweis des Browsers auf //www.google.com/ zu ändern, um vollen Zugriff auf den Inhalt einer Website zu erhalten.

Stattdessen verwenden Websites verschiedene Überprüfungen, die User-Agent, Referrer und Cookies und manchmal sogar mehr umfassen, um die Berechtigung des Zugriffs zu bestimmen.

Allgemeine Information

Wahrscheinlich ist der beste Weg, den Browser zu maskieren, es als Googlebot erscheinen zu lassen.

  • Verweis: //www.google.com/
  • User-Agent: Mozilla / 5.0 (kompatibel; Googlebot / 2.1; + // www.google.com/bot.html

Feuerfuchs

Firefox-Benutzer benötigen dazu zwei Browser-Add-Ons: das erste, RefControl, um den Referrer-Wert beim Besuch von Nachrichtenseiten zu ändern, das zweite, User Agent Switcher, um den User Agent des Browsers zu ändern.

  1. Laden Sie beide Erweiterungen im Firefox-Webbrowser herunter und installieren Sie sie.
  2. Tippen Sie auf die Alt-Taste und wählen Sie Extras> RefControl-Optionen.
  3. Klicken Sie auf "Site hinzufügen", geben Sie unter Site einen Domainnamen ein, wählen Sie eine benutzerdefinierte Aktion aus und geben Sie //www.google.com/ als Referrer ein.
  4. Wiederholen Sie diesen Vorgang für alle News-Sites, auf die Sie zugreifen möchten (einige funktionieren möglicherweise nicht, auch wenn Sie Änderungen vornehmen. Denken Sie daran.)
  5. Wenn Sie fertig sind, schließen Sie das Konfigurationsfenster.
  6. Tippen Sie erneut auf die Alt-Taste und wählen Sie Extras> Standardbenutzer-Agent> Benutzer-Agents bearbeiten aus dem Menü.
  7. Wählen Sie Neu> User Agent und ersetzen Sie die Zeichenfolge im Feld User Agent durch Mozilla / 5.0 (kompatibel; Googlebot / 2.1; + // www.google.com/bot.html). Nennen Sie es Googlebot.
  8. Verlassen Sie das Menü.
  9. Tippen Sie vor dem Zugriff auf diese Websites auf Alt und wählen Sie Standardbenutzer-Agent> Googlebot.

Das ist alles was es zu tun gibt. Es ist ein bisschen bedauerlich, dass es für Firefox keine Erweiterung gibt, die den Benutzeragenten automatisch auf der Grundlage der von Ihnen besuchten Websites ändert.

Google Chrome

Google Chrome-Nutzer können Erweiterungen wie User Agent Switcher und Referer Control installieren, die dem Browser zur Verfügung stehen.

Es gibt jedoch eine andere Möglichkeit, nämlich eine benutzerdefinierte Erweiterung zu erstellen, die den Vorgang im Browser automatisiert.

Anweisungen werden auf Elaineou zur Verfügung gestellt. Im Grunde genügt es, ein neues Verzeichnis auf dem lokalen Computer zu erstellen, die beiden darin enthaltenen Dateien background.js und manifest.json zu erstellen und den auf der Site gefundenen Code zu kopieren und in die Dateien einzufügen.

Sie müssen den "Entwicklermodus" für chrome: // extensions / aktivieren und können dann "entpackte Erweiterung laden" auswählen, um den Ordner auszuwählen, in dem Sie die beiden Dateien erstellt haben, um die Erweiterung in Chrome zu laden.

Sie können die Liste der unterstützten Websites ändern, um neue hinzuzufügen.