Screen Scraping con Node.js

Veamos cómo podemos solucionar este problema.!

Entrar en phantomjs

PhantomJS puede cargar páginas web e imitar un navegador basado en Webkit sin la GUI.

Mi método preferido para obtener información de estos sitios es usar PhantomJS. PhantomJS se describe a sí mismo como un "Webkit sin cabeza con una API de JavaScript. En términos simplistas, esto significa que PhantomJS puede cargar páginas web e imitar un navegador basado en Webkit sin la GUI. Como desarrollador, podemos recurrir a métodos específicos que PhantomJS proporciona. Ejecute el código en la página. Dado que se comporta como un navegador, los scripts en la página web se ejecutan como lo harían en un navegador normal..

Para obtener datos de nuestra página, vamos a utilizar PhantomJS-Node, un pequeño gran proyecto de código abierto que une PhantomJS con NodeJS. Bajo el capó, este módulo ejecuta PhantomJS como un proceso secundario..

Instalando PhantomJS

Antes de que pueda instalar el módulo NPM PhantomJS-Node, debe instalar PhantomJS. Sin embargo, instalar y construir PhantomJS puede ser un poco complicado..

Primero, diríjase a PhantomJS.org y descargue la versión adecuada para su sistema operativo. En mi caso, fue Mac OSX..

Después de descargarlo, descomprímelo en algún lugar como / Aplicaciones /. A continuación, desea agregarlo a su CAMINO:

sudo ln -s /Aplicaciones/phantomjs-1.5.0/bin/phantomjs / usr / local / bin /

Reemplazar 1.5.0 con su versión descargada de PhantomJS. Tenga en cuenta que no todos los sistemas tendrán / usr / local / bin /. Algunos sistemas tendrán: / usr / bin /, /compartimiento/, o usr / X11 / bin en lugar.

Para usuarios de Windows, consulte el breve tutorial aquí. Sabrá que está todo configurado cuando abre su Terminal y escribe Phantomjs, y no recibes ningun error.

Si te sientes incómodo editando tu CAMINO, tome nota de dónde descomprimió PhantomJS y le mostraré otra forma de configurarlo en la siguiente sección, aunque le recomiendo que edite su CAMINO.

Instalación de PhantomJS-Node

Configurar PhantomJS-Node es mucho más fácil. Siempre que tenga instalado NodeJS, puede instalarlo a través de npm:

npm instalar phantom

Si no editaste tu CAMINO en el paso anterior al instalar PhantomJS, puede ir al fantasma/ directorio derribado por npm y editar esta línea en phantom.js.

ps = child.spawn ('phantomjs', args.concat ([__ dirname + '/shim.js', puerto]));

Cambia el camino a:

ps = child.spawn ('/ path / to / phantomjs-1.5.0 / bin / phantomjs', args.concat ([__ dirname + '/shim.js', puerto]));

Una vez hecho esto, puedes probarlo ejecutando este código:

 var phantom = require ('phantom'); phantom.create (function (ph) return ph.createPage (function (page) return page.open ("http://www.google.com", function (status) console.log ("open google?" , estado); return page.evaluate ((function () return document.title;), function (result) console.log ('El título de la página es' + resultado); return ph.exit ();); );););

Ejecutar esto en la línea de comandos debería mostrar lo siguiente:

abrió google? el título de la página de éxito es Google

Si tienes esto, estás listo y listo para empezar. Si no es así, publica un comentario y trataré de ayudarte!

Usando PhantomJS-Node

Para que sea más fácil para usted, he incluido un archivo JS, llamado phantomServer.js en la descarga que utiliza parte de la API de PhantomJS para cargar una página web. Espera 5 segundos antes de ejecutar JavaScript que raspa la página. Puede ejecutarlo navegando al directorio y emitiendo el siguiente comando en su terminal:

 nodo phantomServer.js

Daré una visión general de cómo funciona aquí. Primero, requerimos PhantomJS:

 var phantom = require ('phantom');

A continuación, implementamos algunos métodos de la API. A saber, creamos una instancia de página y luego llamamos al abierto() método:

 phantom.create (function (ph) return ph.createPage (function (page) // De aquí en adelante, podemos usar los métodos de API de PhantomJS devolver page.open ("http://tilomitra.com/repository/screenscrape /ajax.html ", function (status) // La página ahora está abierta console.log (" ¿sitio abierto? ", status););););

Una vez que la página está abierta, podemos inyectar un poco de JavaScript en la página. Inyectemos jQuery a través de page.injectJs () método:

 phantom.create (function (ph) return ph.createPage (function (page) return page.open ("http://tilomitra.com/repository/screenscrape/ajax.html", function (status) console.log ("¿Sitio abierto?", estado); page.injectJs ('http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js', function () // jQuery Loaded // Podemos usar cosas como $ ("body"). Html () aquí.););););

jQuery ahora está cargado, pero no sabemos si el contenido dinámico en la página se ha cargado todavía. Para dar cuenta de esto, generalmente pongo mi código de raspado dentro de un setTimeout () Función que se ejecuta después de un cierto intervalo de tiempo. Si desea una solución más dinámica, la API de PhantomJS le permite escuchar y emular ciertos eventos. Vayamos con el caso simple:

 setTimeout (function () return page.evaluate (function () // Obtenga lo que desea de la página usando jQuery. // Una buena manera es rellenar un objeto con todos los comandos jQuery que necesita y luego devolver el objeto . var h2Arr = [], // array que contiene todo el html para los elementos h2 pArr = []; // array que contiene todo el html para los elementos p // Rellene los dos arreglos $ ('h2'). each (function () h2Arr.push ($ (this) .html ());); $ ('p'). each (function () pArr.push ($ (this) .html ());); // Devuelva este retorno de datos h2: h2Arr, p: pArr, function (result) console.log (result); // Cierre la sesión de los datos. Ph.exit (););, 5000);

Poniendo todo junto, nuestra phantomServer.js archivo se ve así:

 var phantom = require ('phantom'); phantom.create (function (ph) return ph.createPage (function (page) return page.open ("http://tilomitra.com/repository/screenscrape/ajax.html", function (status) console.log ("¿Sitio abierto?", estado); page.injectJs ('http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js', function () // jQuery Loaded . // Espere un poco para que se cargue el contenido de AJAX en la página. Aquí, estamos esperando 5 segundos. SetTimeout (function () return page.evaluate (function () // Obtenga lo que desea de la página usando jQuery Una buena manera es rellenar un objeto con todos los comandos jQuery que necesita y luego devolver el objeto. Var h2Arr = [], pArr = []; $ ('h2'). Each (function () h2Arr.push ($ (this) .html ());); $ ('p'). each (function () pArr.push ($ (this) .html ());); return h2: h2Arr, p: pArr;, function (result) console.log (result); ph.exit (););, 5000);););););

Esta implementación es un poco tosca y desorganizada, pero hace el punto. Con PhantomJS, podemos raspar una página que tiene contenido dinámico. Su consola debe mostrar lo siguiente:

 → nodo phantomServer.js sitio abierto? success h2: ['Article 1', 'Article 2', 'Article 3'], p: ['Lorem ipsum dolor sit amet, consectetur adipiscing elit.', 'Ut sed nulla turpis, in faucibus ante. Vivamus ut malesuada est. Curabitur vel enim eus purus pharetra tempor id en tellus. ',' Curabitur euismod hendrerit quam ut euismod. 'Ut leo sem, viverra nec gravida nec, tristique nec arcu'. ]

Conclusión

En este tutorial, revisamos dos formas diferentes de realizar raspado web. Si se raspa desde una página web estática, podemos aprovechar YQL, que es fácil de configurar y usar. Por otro lado, para los sitios dinámicos, podemos aprovechar PhantomJS. Es un poco más difícil de configurar, pero proporciona más capacidades. Recuerde: también puede usar PhantomJS para sitios estáticos!

Si tiene alguna pregunta sobre este tema, no dude en preguntar a continuación y haré todo lo posible para ayudarlo.