GOOGLE, YAHOO,ETC…»DE LA MISA EL 4%»: DEEP WEB

*Un post de Albert Pérez Novell, CEO de Globalbook

Estamos convencidos que tenemos acceso a toda la información mediante el uso de Google y otros buscadores y no es así por mucho. Los estudios demuestran que sólo accedemos al 4% de la información disponible en la red.

Buscar en el Internet hoy en día se puede comparar con una red de arrastre a través de la superficie del océano. Mientras que una gran cantidad de información se pierde porque navega en aguas más profundas. 

La razón es simple: la mayoría de la información de la Web está enterrada en sitios muy ocultos, Bases de datos encriptadas, sites muy dificiles de localizar y que los motores de búsqueda estándar nunca encuentran.

En este post he recopilado lo que se dice por la red sobre este tema:

Según un artículo de Wikipedia  “En el año 2000 se estimaba que el tamaño del Internet Profundo era de 7.500 Terabytes de datos en unos 550.000 millones de documentos. Para comparar se estima que en aquella época la Internet superficial ocupaba 167 Terabytes y el contenido de la Biblioteca del Congreso de Estados Unidos tenía unos 3.000 Terabytes que no eran accesibles por los motores de búsqueda.

Estimaciones basadas en la extrapolación de un estudio de la Universidad de California en Berkeley especula que actualmente el Internet Profundo debe tener unos 91.000 TeraBytes.^” Aproximadamente el 96% de toda la información que existe en Internet está sin indexar por ningún buscador.

Los algoritmos usado por los buscadores, Google y todos los demás, no son perfectos, además del hecho de que existen bases de datos y páginas dinámicas, que limitan su capacidad de indexación. No pueden indexar toda la información y además es imposible hacerlo.

Lo más importante de la Internet Profunda es que en su mayor parte está constituida por bases de datos muy especializadas con contenidos de alta calidad y en muchos casos para acceder a las más  profundas fosas Dark, los navegadores o browsers que usamos (Firefox, Chrome, IE, etc)  no están diseñados para permitir el acceso a este tipo de urls, que suelen contener información financiera o directamente delictiva.

Deep Web versus Dark Web

 Bucear en la Web oscura ( Dark Web) es como ir a un inframundo donde encuentras documentos confidenciales ( Wikileaks, documentos de estado, casos de ovnis, experimentación humana, etc) – Mercado negro (armas, drogas, etc) –  Servicios de hacking. – Mucha piratería. – Videos, imagenes y documentos baneados de la web normal-  Contratación de sicarios, asesinos, espías, etc.-  Tráfico de organos, animales, personas.- Pedofilia, necrofilia , etc. Pero para esto debes tener toda la intención del mundo en entrar, no es fácil. Para entrar necesitas programas que garantizen tu anonimato proporcionandote una IP falsa como es TOR.

VIAJE AL INFIERNO DARK 

Existen niveles:

NIVEL 1. En este nivel encontramos páginas independientes, foros de todo tipo y páginas pornográficas.

NIVEL 2. Aquí abundan los buscadores de información independientes como emule o ares además de encontrarnos con contenido visual de moral laxa.

NIVEL 3. En el nivel 3 encontramos información y servicios de lo más macabros: prostitución y pornografía infantil, mercado de armas y drogas duras, contratación de asesinos a sueldo, canibalismo, mutilación genital, etc…

NIVEL 4. Aquí abundan los hackers informáticos. No me refiero a simples aficionados que se dedican a infectar PC’s, sinó a auténticos piratas informáticos.

NIVEL 5. En este nivel se encuentran los secretos militares

NIVEL 6. Es un nivel solo apto para los hackers mejor preparados. Aquí se encuentra la DataBase. Es una sección en la que toda la información de DarkWeb deja ser un código binario en 0 y 1

Si, en las profundidades de la Dark web se puede encontrar de todo, especialmente el lado más oscuro de la mente humana y perversa, En la Deep Web  hay cosas buenas, como la investigación científica y tecnológica, las bibliotecas digitales, bases de datos, material de las universidades, informes de estudios científicos recientes etc

En la Deep WEB hay de todo, como en botica, pero abundan contenidos de alta calidad, en esta línea adjunto una serie de enlaces muy interesantes. Es de destacar el proyecto BrightPlanet que utiliza una tecnología orientada al aprovechamiento de la Web profunda llevando sus resultados a la superficie, así como el Libro Blanco de la Internet Profunda publicado hace años en JEP TheJournal off electronicpublishing

¿Como bucear en esta Deep Web y no ahogarse?

Adjunto una serie de herramientas que ha publicado Ramon Archanco, sobre una Internet no tan visible, aunque no oculta.

Recursos científicos de la Internet profunda o Internet invisible

La web del conocimiento: es una de las mayores bases de datos de citas del mundo con mas de 54 millones de registros

Elseiver: es un repositorio con mas de 2000 revistas de medicina y salud

ScienceDirect: más de 2.500 revistas científicas y más de 11.000 libros

Pubmed: es el motor de búsqueda de medline. Contiene mas de 22 millones de documentos de investigación en biomedicina

Ingenta: contiene revistas de mas de 12.000 publicaciones

Us PTO: es un buscador de patentes y marcas de Estados Unidos de América

Espacenet: es un buscador de patentes de los países Europeos

Latipat: Bajo la plataforma de espacenet agrega resultados de patentes de países de Latinoamérica, España y Portugal

Recursos estadísticos de la Internet profunda o Internet invisible

Eurostat: fuente estadística de todos los países europeos

Usa.gov: fuente estadística de EEUU.

Recursos sobre datos financieros de la Internet profunda o Internet invisible

Bureau Van Dijk: bases de datos de los registros mercantiles de paises de la OCDE

Duns and Bradstreet: informes financieros de todas las empresas del mundo

e-informa y Axesor: datos financieros de empresas españolas y listados de marketing.

Recursos de comercio internacional de la Internet profunda o Internet invisible

Comtrade: base de datos de la ONU sobre datos de import-export y códigos HS

Cameradata: base de datos española sobre los daos de importación y exportación

Marketaccessdatabase: datos sobre tarifas arancelarias en los distintos países de destino a las exportaciones

Organización mundial de comercio: recoge informaciones legales sobre el comercio internacional.

Recursos sobre legislación de la Internet profunda o Internet invisible

Eurolex: incluye toda la información legal y disposiciones sobre la legislación y tratados europeos

FDA: es la agencia de alimentación de EEUU aqui puedes encontrar todas las regulaciones acerca de pesticidas, conservantes y aditivos autorizados.

De hecho siempre aparecen nuevas herramientas o directorios de acceso a la web profunda que tardan en llegar al dominio público.

Otros recursos de la web invisible

Aquí deberíamos hablar de varias herramientas como:

Complete planet: Una herramienta que lleva ya muchos años considerándose una de las puertas de acceso principal a la Internet profunda. Este es un directorio con mas de 70.000 bases de datos y recursos

Infomine: un recurso de la universidad de california que cuenta con mas de 100.000 enlaces a otras bases de datos

Scirus: es un metabuscador científico especializado en institutos y universidades de investigación.

Gran parte de los recursos auditados de la web profunda provienen de bibliotecas y centros de investigación universitarios y que por lo tanto la información es de gran calidad y valor para la comunidad científica y de investigación.

Aunque también, como hemos visto, podemos encontrar recursos valiosos para la empresa. A parte de estos tres recursos puedes echar un vistazo a esta breve recopilación de Ernesto Marrero de puertas de entrada a la Internet profunda.

También te recomiendo que utilices OJOSE para lanzar una búsqueda simultanea en varios de estos servicios.

*Si te ha interesado este artículo puedes escuchar también aquí la entrevista a Albert Pérez Novell sobre Globalbook, inteligencia aplicada al sector del libro