El año 2000, solo dos años después de su fundación, Google logró un hito que ha definido su dominio en los siguientes 20 años: se convirtió en el motor de búsqueda más grande, con un índice de más de mil millones de páginas web para ese momento.
Especial de Laszlo Beke
El resto de Internet nunca fue capaz de alcanzarlo y el índice de Google ha continuado creciendo. Ahora los reguladores examinan formas para limitar el poder de Google y en el artículo America and Europe clamp down on big tech hay una buena descripción de los varios esfuerzos antimonopolio simultáneos en marcha en Estados Unidos y Europa. Las anteriores experiencias anti-monopolio no necesariamente aplican a esta situación. La realidad es que están lidiando con una empresa cuyo tamaño le ha permitido aplastar la competencia y esos competidores están apuntando a los investigadores hacia su enorme índice, el centro gravitacional de la empresa. Adicionalmente los esfuerzos de Google para crear un Mapa de Internet en tiempo real complementan los elementos necesarios para su dominio. Es importante tratar de identificar las fuentes del poder de Google.
Indexación
Google y Microsoft tienen su índice de páginas web, en el caso de Google este incluye 500-600 mil de millones sitios comparado con 100-200 mil millones de Microsoft. Cuándo las personas usan un buscador con un índice más pequeño, no siempre conseguirán los resultados que buscan, y terminan yendo y quedándose en Google. Es imposible para empresas pequeñas competir. El entendimiento de cómo funciona la búsqueda Google es la clave para entender la razón por la cual tantas empresas buscan la forma de adaptarse a los requerimientos de Google.
Para un buscador la indexación es la clave y requiere una fuerte inversión económica. La ventaja más importante de Google sobre Microsoft es la magnitud de su índice. Cada solicitud de búsqueda en Google le provee más data a este y hace su algoritmo más inteligente, Google ha hecho tantas búsquedas más que otros buscadores que ha establecido una ventaja inmensa sobre sus rivales en el entendimiento de lo que los clientes buscan. La ventaja se continúa extendiendo, por cuanto Google tiene una cuota del mercado del 90%.
Los buscadores y los rastreadores
Al igual que otros buscadores Google tiene su propio “rastreador de Internet”, estas son computadoras que automáticamente recorren Internet y exploran páginas web. Google direcciona miles de millones a ubicaciones a través de Internet y las páginas web, necesitadas de ese tráfico, crean un conjunto de reglas diferenciadas para los potenciales buscadores interesados. Los sitios proveen mayor y más frecuente acceso al “rastreador de Internet” de Google y así le permiten a Google ofrecer una índice más extendido y más actualizado que el de otros. Cuándo un página presenta problemas para Google, su resolución se convierte en una prioridad, típicamente cuando esto ocurre con otros buscadores, son simplemente bloqueados.
Las páginas web y los buscadores son simbióticos. Las páginas web cuentan con los buscadores para el tráfico, mientras que los buscadores necesitan acceso para rastrear las páginas y así proveer resultados relevantes para los usuarios. Sin embargo, cada buscador genera una carga para los recursos de la página web en el servidor y hay rastreadores agresivos que parecen más bien riesgos de seguridad capaces de tumbar un sitio. Permitir el rastreo de las páginas tiene un costo, por ello las páginas web se lo permiten a aquellas que dirigen tráfico hacia ellas. En el mundo actual de búsqueda, eso se refiere a Google y en menor grado a Microsoft Bing.
La mayoría de las páginas web importantes en Internet son cuidadosas y sensatas con respecto a quienes permiten que rastreen su información. Típicamente, Google y Microsoft obtienen más acceso por cuanto tienen más usuarios, los buscadores más pequeños necesitan solicitar permiso. Se convierte en el problema de quién vino primero, la gallina o el huevo. El buscador necesita tener tráfico para convencer a las páginas web para permitirles rastrear y copiar, pero también requieren el contenido para hacer crecer el tráfico y aumentar su tráfico. En la práctica, unas pocas empresas terminan determinando las conexiones que las personas ven o no ven y ello reduce la diversidad de opciones. En Europa, el Open Search Foundation ha propuesto un plan para crear un índice común de Internet que respalde a los muchos buscadores europeos.
Mapa de Internet
Google y Microsoft son los únicos buscadores que gastan millones de dólares anualmente para mantener un mapa en tiempo real de Internet del idioma inglés. Eso es adicional a los miles de millones que ya han gastado a través de los años para construir sus índices. El mapa de Internet es una presentación bi-dimensional de las conexiones entre las páginas en Internet. Cada sitio web es un círculo y su tamaño es determinado por el tráfico del sitio. Los usuarios al navegar entre sitios crean conexiones, y mientras más fuerte la conexión los sitios tienden a alinearse más cerca entre ellos. Ello tiene el efecto de red a largo plazo.
Se hace referencia a Google Dominates Thanks to an Unrivaled View of the Web, America and Europe clamp down on big tech y Google’s three antitrust cases, briefly explained . También aparece en mi portal https://bit.ly/2WrZRJm.