Die Google Web Search-API wurde eingestellt und durch die benutzerdefinierte Such-API ersetzt (siehe http://code.google.com/apis/websearch/ ).
Ich wollte das gesamte Web durchsuchen, aber es sieht so aus, als ob mit der neuen API nur benutzerdefinierte Websites durchsucht werden können.
Gibt es eine Möglichkeit, das gesamte Web programmatisch zu durchsuchen? Ich konnte die alte API mit JSON aus einem Java-Programm abfragen.
Sie könnten sie einfach durchschicken, wie es ein Browser tut, und dann den HTML-Code parsen, was ich immer getan habe, sogar für Dinge wie Youtube.
Ja, die benutzerdefinierte Suche von Google hat jetzt die alte Such-API ersetzt, Sie können jedoch weiterhin die benutzerdefinierte Suche von Google verwenden, um das gesamte Web zu durchsuchen. Die Schritte sind jedoch aus der Konfiguration der benutzerdefinierten Suche nicht ersichtlich.
So erstellen Sie eine benutzerdefinierte Google-Suchmaschine, die das gesamte Web durchsucht:
Jetzt sucht Ihre benutzerdefinierte Suchmaschine das gesamte Web.
Preisgestaltung
Quelle: https://developers.google.com/custom-search/json-api/v1/overview#Pricing
Google Custom Search (wie in den am besten bewerteten Antworten empfohlen) funktioniert gut, ist aber im Vergleich zu seinen Mitbewerbern (unten) oder im Vergleich zu anderen Google-APIs sehr teuer. Es hat eine kleine kostenlose Tier (100 Abfragen / Tag) und einen sehr hohen Preis von $ 5 pro 1000 Abfrage.
Sie bieten die Option zum Upgrade auf die Site-Suche, die etwas bessere Preise hat, aber das ist für die Suche nach einer eigenen Seite gedacht, also ist es wirklich etwas ganz anderes – kein Upgrade.
Die wichtigsten Alternativen scheinen zu sein:
Bing-Such-API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Was hat eine kostenlose Tier von 5000q / Monat, und Preise ab 5 Abfrage pro Penny, und keine harte Grenze.
UPDATE: Ende 2016 wurde diese API zugunsten ihres Azure-Pendants “Cognitive Services Bing Search API” heruntergefahren:
https://azure.microsoft.com/en-us/services/cognitive-services/search/
Sehen Sie hier für eine Preistabelle, die für 1.000 Transaktionen bei US $ 3 / m beginnt. Wenn ich etwas nicht vermisse, ist es ziemlich teuer.
Yahoo BOSS Such-API
UPDATE: Wurde am 31. März 2016 eingestellt. http://developer.yahoo.com/boss/search/
Mit Preisen ab ca. 12 Abfragen / Penny für ganze Websuchen.
Und einige, von denen ich noch nie gehört habe:
http://www.gigablast.com/searchfeed.html
http://www.faroo.com/hp/api/api.html
http://www.entireweb.com/search_api/implementation/
[eingestellt – wie unten angegeben]
Es gibt einige Diskussionen über diese SO-Post .
[wurde wegen Nicht-Themen geschlossen und ist jetzt weg]
Hier ist eine Option unten in der Systemsteuerung für die benutzerdefinierte Suche: “Zu durchsuchende Websites” , Sie können wählen “ Durchsuchen Sie das gesamte Web, aber betonen Sie die enthaltenen Websites”
Faroo hat eine kostenlose Web Search API
Ich habe das gerade von Common Crawl erfahren.
Könnte die Antwort sein, die wir alle suchen!
Es gibt einen Hinweis auf die Dokumente :
Hinweis: Die Google Web Search-API wurde ab dem 1. November 2010 offiziell eingestellt. Sie funktioniert weiterhin gemäß unserer Richtlinie zur Vernachlässigung , aber die Anzahl der Anforderungen, die Sie pro Tag stellen können, ist begrenzt. Daher empfehlen wir Ihnen, zu der neuen benutzerdefinierten Such-API zu wechseln.
Die Richtlinie “Vernachlässigung” gibt an, dass sie die API weiterhin drei Jahre lang ausführen wird. Wenn Sie also bereits eine Anwendung haben, die die alte API verwendet, müssen Sie sich noch nicht beeilen, um die Dinge noch zu ändern. Wenn Sie eine neue Anwendung schreiben, verwenden Sie die API für benutzerdefinierte Suche . Siehe meine Antwort hier, wie man das in Python macht, aber die Idee ist für jede Sprache die gleiche.
Es gibt eine kostenlose Java-API namens JFreeWebSearch, die das bereits erwähnte Faroo verwendet: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch
Sie können die benutzerdefinierte Suchmaschine “Everywhere” direkt auf der Startseite von Google Custom Search ( http://www.google.com/cse/ ) erstellen. Sie sollten nur auf “Erweitert” klicken, während Sie eine neue Engine hinzufügen. Dort können Sie den Site-Typ Schema.org angeben. ” Thing ” ist der allgemeinste Typ, der das gesamte Web abdeckt.
Gigablast bietet eine billige Web-Such-API: http://www.gigablast.com/searchfeed.html