Buscadores alternativos

Como en todas las cosas, resulta que también hay un Long Tail de buscadores. Estos Search Engines alternativos tratan de sacarle migajas de market share a Google especializándose en un tema, como por ejemplo, restaurantes, bookmarks o juegos. Por eso se los llama Vertical Search Engines.

La lista de los 100 más importantes puede bajarse a un excell desde este link.

Hice la prueba con un buscador de gente que se llama peekyou. Busqué a tres amigos que viven en US, ninguna información...

Luego fui a Twingly, un buscador de blogs. Busqué el mio, y los resultados fueron buenos
pero no tiene nada que Google blog search no tenga.

Finalmente fui a otro buscador de gente, llamado Wink, busqué mi nombre, y los resultados fueron buenísimos dado que recolectó mi presencia en linkedin, con este blog, con facebook y con twitter en un milisegundo. Una maravilla.

Conclusión: que dificil debe ser competirle a Google en search, pero quizás especializándose, haya algunos buscadores que tengan una pequeña chance.

El lugar donde buscar cualquier tema de SEO

Utilizando "Adsense para búsqueda", construí un buscador específico para temas de Search Engine Optimization. 

Se trata de la herramienta que está en la barra de la izquierda debajo del "About Me" con la cual, al hacer una búsqueda, Google Search limita el universo de sitios exclusivamente a los 40 mejores sitios de SEO que yo seleccioné.

Entre esos sitios están:

- Seomoz

- SEO Book

- Search Engine Land

- Search Engine Journal

- Blog de Matt Cutts

- Blog de John Battelle

- Search Engine Watch

- Learning SEO basics blog

- SEO Guru

- SEO theory and analysis blog

- Inside Adwords

- Yahoo Search Marketing blog

- muchos otros, y también mi blog ; )

Luego de pegar el código en la página, realicé unas cuantas búsquedas (pagerank, adsense, authority, tips, etc), y la verdad es que me parece una flor de herramienta para encontrar info relevante de SEO, ya que filtra mucha basura que aparece cuando se hace la misma búsqueda en toda la web.

¿Cómo funciona el buscador de Google?

Recomiendo abrir la imágen en otra ventana, clickearla para que se agrande, y consultarla a medida que se lee el post. Vale la pena.

1) Todo empieza con un bot (también llamado crawler, o spider) que se ocupa de recolectar la información que está desparramada por los miles de servers que forman la world wide web. No hay en ningún lado una lista de los sitios web existentes en un determinado momento, las empresas que dan servicio de Search Engine (Google, Yahoo!, etc) deben auto-generarse esa lista. El bot no es ni más ni menos que un programita que visita páginas de internet de manera automática, las copia, las manda al “Page Depository”, luego visita cada uno de los links que tenía esa página y así sucesivamente. De esa manera, recorre la gran mayoría de las páginas de internet existentes y relevantes (Google tenía 8,1 billones a Noviembre del 2004), aunque son muchas las que se le escapan. Ahora, para mantener el “Page Depository” actualizado, las páginas que cambian en forma diaria también deben ser actualizadas diariamente. Para eso existe un bot especial llamado “fresh bot” que visita más frecuentemente los sitios que refrescan su contenido en forma permanente.

2) El “Page Repository” es el caché, o sea, el lugar donde se guarda la última actualización de una determinada página según la copió el bot. Toneladas de información acumulada en discos rígidos. Cuando se hace una búsqueda en Google, al final de cada resultado aparece un link que dice “En caché”. Ahí se puede ver la página que está guardada en el “Page Repository” correspondiente a la última vez que el bot pasó a visitarla. Por supuesto que la página real puede haber cambiado desde ese momento. Acá hay un ejemplo de una página del caché de este blog.

3) El “Indexing module” toma cada página nueva del “Page Repository” y extrae la información más importante, creando una versión comprimida que luego va a ser utilizada en los índices. Esa información incluye: título, descripción, anchor texts, texto en bold o en tamaño mayor, links hacia otras páginas, texto, etc.

4) Con la información extraída en el “Indexing module” se confeccionan los distintos “Indices”. Los más importantes son:
- El “Content Index”: indica en que páginas se encuentran cada palabra de texto escrita en el contenido de todos los sitios del “Page Repository”. Funciona igual que el índice alfabético que está al final de los libros: buscás una palabra y el índice te indica en que páginas del libro aparece esa palabra. Las palabras muy comunes tipo “el”, “un”, “a” discriminan tan poco y tendrían una lista de páginas tan grande que son ignoradas por el buscador.
- El “Structure Index”: como su nombre lo indica tiene la información de cómo linkean las páginas entre sí, conociendo para cada página sus links entrantes y salientes. Con esta información se calcula el PageRank.
- Otros índices especiales, como índice de imágenes, archivos pdf, etc.

5) Todo este proceso sucede de manera constante, durante el día y la noche, más allá de que alguien entre a hacer una búsqueda o no. Es decir, es “query-independent”. Supongamos ahora que un usuario ingrese a Google a hacer una búsqueda (lo que sucede más de 300 millones de veces por día). Esa búsqueda entra al “Query Module”, donde se transforman las palabras buscadas en números. Luego éste consulta al “Content Module” para definir cuál es la lista de páginas que tienen contenido relevante de acuerdo a esas palabras buscadas, ordena esa lista según el “content score” (ponderando las páginas que tienen la palabra buscada de manera destacada), trae las páginas relevantes del “Page Repository” y manda todo al "Ranking Module".

6) Finalmente el “Ranking Module” toma la lista de páginas relevantes, busca el PageRank de cada una en el “Structure Index”, calcula el “overall score” de cada página en función del “content score” y el PageRank, re-ordena los resultados según este “overall score” y manda esa lista al usuario. Chin-pum. Todo eso a la velocidad de la luz.

Dediqué 2 horas de un martes a la noche para escribir este post, incluyendo el armado de la imagen. Creo que faltaba una explicación profunda pero clara de cómo funciona un buscador.

Una actualización: me gustó el videito de Matt explicando todo esto de una manera más basica, pero más divertida:

Delicioso

Desde el día que conocí del.icio.us, el mayor sitio de "bookmarking social", me convertí en un fanático. 

¿Qué cornos es bookmarking social? Había una época en la que nos alcanzaba con guardar los bookmarks en la solapa del explorer. Pero cada vez con más frecuencia, uno va juntando más y más links piolas y esa manera de organizarlos se hace inmanejable. Yo por ejemplo tengo unos 400 bookmarks, ¿cómo guardarlos en el explorer? Entonces conocí del.icio.us, y cada vez que veo una página interesante, la guardo, con un botón que puse en el navegador.

Pero lo interesante no es eso, sino que mientras yo voy guardando las páginas que a mí me parecen que valen la pena, miles de personas hacen lo mismo, con lo cual se va almacenando una gran base de datos de sitios destacados por los propios usuarios.

Y esa base de datos generada por seres humanos, se convierte en la materia prima para usar a del.icio.us como search engine. O sea que en vez de buscar en una base de sites encontrada por bots (como Google por ejemplo), una búsqueda en del.icio.us se realiza sobre los sitios seleccionados indirectamente por los usuarios.

Brillante.

del.icio.us fue comprada por Yahoo! hace unos años, y desde hace sólo unos meses, cuando se hace una búsqueda en Yahoo!, se integran los resultados con los de del.icio.us. Más brillante.

Por suerte, salgo muy bien en los resultados de del.icio.us. No todo es Google en la vida...