¿Qué es ThunderCache Profesional? ¿Cómo funciona?

Tema en '[ThunderCache] Instalación & Configuración' iniciado por ryohnosuke, 22 Ene 2012.

  1. ryohnosuke

    ryohnosuke MikroTik Support Guy Administrador

    Me Gusta recibidos:
    626
    Información General

    ThunderCache es un novedos sistema de webcache cuya principal característica es almacenar archivos con URL dinámico. como por ejemplo, los videos de Youtube, videos xxx como Redtube, Youporn, Xvideos, las actualizaciones de Windows Update, actualizaciones de antivirus como Avira, Kaspersky, NOD32, páginas de descarga directa como Megaupload, Rapidshare, y mucho más, lo que implicaría un considerable ahorro de ancho de banda y mayor velocidad para nuestros clientes ya que el contenido saldrá directamente de nuestro servidor cuando sea solicitado por segunda vez.

    Por ejemplo, he grabado un video de lo que sucede cuando un video del Youtube es visto por segunda vez, notarán la gran velocidad de carga.

    [video=youtube_share;ABSjkpvXeaU]http://youtu.be/ABSjkpvXeaU[/video]
    [video=youtube_share;G8jLLPH0dWg]http://youtu.be/G8jLLPH0dWg[/video]


    ¿Cómo funciona?

    Para entender cómo funciona ThunderCache, tenemos que entender antes cómo funciona un webcaché (o webproxy) en general; bueno, en realidad sobre esto hay mucha información suelta en la red así que lo haré algo abreviado.

    Un servidor webcaché es un tipo de servidor proxy que se encarga hacer de intermediario de nuestro PC e internet, haciendo peticiones de un determinado contenido, como por ejemplo, los elementos de una página web, la descarga de un mp3, un video, una imagen, etc. y almacenándolo. Para hacerlo más fácil, cuando queremos ver una página web cualquiera, por ejemplo, El Comercio, nuestro PC (en realidad es el navegador: Internet Explorer, Firefox, etc.) hará la petición al servidor webcaché, paso siguente, el servidor webcaché hará la petición directamente a la página El Comercio, descargando y almacenando en su disco duro todos los elementos que esta página contiene (imagenes, animaciones, música, etc), y durante ese proceso, el servidor webcaché también estará enviando esos mismos elementos al PC que hizo la petición para así poder mostrar la página en pantalla. Debido a este proceso, el servidor webcaché tendrá almacenado la 'página web' de El Comercio en su disco duro, así que cuando otro PC solicite la misma página, el servidor webcache se la enviará directamente desde su disco duro a velocidad superior, ahorrando ancho de banda de internet.

    Bueno, este proceso no es tan simple como parece. Separemos 2 instancias: 'CACHÉ' y 'HIT'. Cuando un elemento cualquiera es descargado y grabado en el disco duro y/o memoria del servidor, a este proceso lo llamaremos 'CACHÉ'. Cuando un elemento grabado salga del disco duro y/o memoria del servidor, a este proceso lo llamaremos 'HIT'; como es de suponerse, el ahorro de ancho de banda de internet sólo sucederá cuando tengamos un 'HIT', y mientras más 'HIT' tengamos, más ahorro tendremos.

    Para que exista un 'HIT' son necesarias las siguientes condiciones:

    • El elemento origen tiene que ser el mismo que el elemento guardado en el disco duro del servidor (tamaño, fecha de creación, fecha de modificación). Si el elemento cambia, entonces no habrá 'HIT', y claro, el server al notar la diferencia lo volverá a descargar para así 'refrescar' el caché.
    • El URL del elemento tiene que ser siempre el mismo. Entonces, si veo o descargo esta imagen, esta imagen se almacenará en el servidor, por lo tanto hará 'CACHÉ', y si la volviésemos a ver, entonces esta imagen saldría del disco duro y ya no de internet, entonces tendremos un 'HIT' ya que el URL es el mismo.

    Ya en este segundo punto viene lo interesante. Muchas páginas como por ejemplo YouTube, Megaupload, y un largo etc. utilizan un sistema de URL dinámicos; esto quiere decir, que a pesar que el elemento sea el mismo, el URL siempre tendrá una ligera -o muy estructurada- variación, por lo tanto, el server creerá que se trata de un elemento distinto, y lo volverá a descargar de internet:

    • http://www640.megaupload.com/files/f5xcvde579a7a55b49070xce579a4c10/naruto112.rar
    • http://www720.megaupload.com/files/f51b4fe579a7asdfa34tt70c2fb8954c10/naruto112.rar

    Ambos URL apuntan al archivo "naruto112.rar", y a causa de diferencias en el URL, este se volverá a descargar de internet a pesar de ser el mismo archivo. Tener en cuenta que estos URL dinámicos apuntan directamente a un elemento, y no a la página en sí.

    Bueno, es justamente ahí donde empieza a trabajar ThunderCache. Tomando el mismo ejemplo anterior:

    • http://www640.megaupload.com/files/f5xcvde579a7a55b49070xce579a4c10/naruto112.rar
    • http://www720.megaupload.com/files/f51b4fe579a7asdfa34tt70c2fb8954c77/naruto112.rar

    ThunderCache hará que esas variaciones en el URL sean ignoradas por el servidor webcaché; eso quiere decir, que a pesar de que el elemento tenga URL's distintas, este nos devolverá un 'HIT'. Programas de este tipo son llamados "URL rewritters", en este caso, uno dedicado al webcaché.

    Toda la lógica para hacer funcionar a ThunderCache (cosas como: ¿Con qué páginas tengo que funcionar? ¿Qué parte o partes del URL ignorar? ¿Qué parte del URL es el nombre del archivo a descargar?, etc.) , están contenidos en pequeños archivos programados en C++ llamados plugins. Tener en cuenta que el URL que usé como ejemplo es uno muy simple, que sin ir muy lejos se pueden encontrar URL's de una complejidad impresionante, y por lo tanto, la dificultad en la programación del plugin será mucho mayor.

    Bueno, con esto habré explicado a gran escala cómo funciona ThunderCache. Obviamente utilicé terminos muy poco técnicos para que se pueda entender mejor. Así que si un usuario entendido lee esto, que me perdone la simpleza.


    ¿Qué es un plugin?

    Como vimos en el artículo ¿Cómo funciona? Toda la lógica que explica a ThunderCache para que haga 'CACHÉ' y 'HIT' de elementos con URL dinámicos están dentro de archivos programados en C++ llamados plugins. Existen tantos plugins como páginas de URL dinámico a las que se necesite hacer 'CACHÉ', y que obviamente quieras que ThunderCache se encargue. Como es natural, los elementos de URL estático no necesitan plugin.

    De esta manera, tenemos un plugin para YouTube, RedTube, Vimeo, Avira, NOD32, Windows Update, Megaupload, Rapidshare, y muchos más.


    ¿Cuándo un plugin es obsoleto?

    Bueno, en la red nada es permanente, todo está bajo constante cambio, mudanza de servidores, nuevos dominios, fusiones empresariales, etc. y para los plugins, esto no es la excepción. Aunque si bien es algo difícil que una página web ya consolidada cambie su estructura con facilidad, se han dado casos, como por ejemplo, Redtube en abril.

    Si un plugin está programado para trabajar con la siguiente lógica:

    • http://www640.facebook.com/video/e3vde579a7a55b49070xce579a4c99/grupo5concierto.mp4

    Pero si luego de indeterminado tiempo llegara a utilizar otro dominio como:

    • http://www145.fbkcdn.net/video/f5xcvdsd579a7a545g9070xc5trdg10/grupo5concierto.mp4
    Entonces:
    • Si ya no se utilizara facebook.com como dominio de los videos, se dice que el plugin es obsoleto.
    • Si se utilizara tanto facebook.com y fbkcdn.net como 2 dominios de videos, se dice que el plugin está desactualizado.

    Si se diera el caso, se tendría que volver programar el plugin o actualizarlo para que vuelva a funcionar.


    Requerimientos del Sistema

    ThunderCache necesita ser instalado en un PC 'buenas' prestaciones. ¿Qué tan buenas? Pues eso depende de la cantidad de clientes que se lleguen a conectarse y hacer peticiones al server.

    Se puede hablar de requerimientos mínimos, en este caso podría ser:

    • 2GB de RAM por cada 40 clientes
    • 1TB de Disco duro por cada 60 clientes.

    Obviamente, si hablamos de caché dedicado, la RAM siempre es bienvenida, así que si se tiene la oportunidad de colocarle más RAM, pues mejor. Tener en cuenta que esto no es una proporción fija; por ejemplo, mi consultor MikroTik (USA) tiene una base de 500 clientes aproximadamente, y su server ThunderCache tiene un raid 0 de 3 discos de 2TB, y 8GB de RAM, y todo bien. Según estadísticas, tendrá que hacer limpieza cada 5 meses.

    El procesador no es un elemento del todo importante, pero si ya se superan los 50 clientes, sí que llegará a necesitar un procesador Dual Core mínimo.

    En mi caso, tengo esta configuración para una base con 42 clientes:

    • Motherboard Gigabyte MA-785GPMT-UD2H
    • Procesador Sempron 140, con un núcleo desbloqueado gracias a la placa.
    • RAM 2x2GB DDR3
    • Disco duro 1TB Seagate.

    La placa madre es uno de los elementos más importantes de cualquier sistema de cómputo que necesite estabilidad, esa placa en especial usa únicamente condensadores sólidos, bobinas de núcleo de ferrita, y demás características que la harán muy durable y fiable. Claro, todo esto acompañado por una fuente de poder de marca reconocida para evitar daños por alguna falla eléctrica. En todo caso, esto último ya es a gusto de cada uno, que aveces gastar un poco más en piezas de calidad evita hacer doble gasto debido a un supuesto 'ahorro'.


    ThunderCache y Mikrotik

    ThunderCache y Mikrotik son 2 sistemas distintos, ninguno sustituye al otro, y tampoco se recomienda instalar ambos sistemas en el mismo servidor, por lo tanto, son necesarios 2 servidores independientes, uno dedicado al caché: ThunderCache, y uno dedicado a ser un core-router: Mikrotik RouterOS

    Si se quiere ahorrar luz, se puede sustituir el PC-Server MikroTik por un RB450G sólo si se tiene no más de 100 clientes; obviamente utilizaremos al RB450G únicamente como core router, NO como balanceador de carga. Si se dispone de 2 o más lineas de internet, lo mejor que se puede hacer es comprar un RB750 ó RB750G para dedicarlo al balanceo de carga... o bueno, si no se dan las facilidades para hacer la infraestructura que recomiendo, no habría problema en añadir el balanceo de carga al core router... esto no lo recomiendo ya que cuando tenemos acumulación de servidores, lo mejor es separar los problemas, y así poder descartar y solucionar rápidamente cualquier imprevisto, y si se tienen muchos clientes, el equipo no será suficiente.

    Por estadística, el 80% de los clientes estarán completamente desconectados desde las 2AM hasta las 8AM, así que se puede programar el apagado y encendido automático en ThunderCache para el ahorro de luz durante esas 6 horas de tiempo muerto, obviamente por configuración se hará que los clientes no 'sientan' el apagado del servidor ThunderCache.

    Saludos
     
    Última edición: 18 Feb 2015
    ViHe, MaTaGenT, cypresshill y 5 otros les gusta esto.
  2. linuchero

    linuchero Member

    Me Gusta recibidos:
    8
    A pesar de que ya tenia nociones basicas de como funcionaba el Thundercache o un servidor de videocache, esta explicacion esta excelente! Felicidades Ryo, eres grande!!!!

    Saludos y 1 abrazo
     
  3. Recomendado

    Recomendado New Member

    Me Gusta recibidos:
    0
    Hola Ryo. Mira tengo el problema en mi thundercache7 que varios videos se cortan al cargar solo el 10% aprox del total del video..... y cada vez es mayor la cantidad de videos que no se pueden ver completamente..... existe alguna solucion o es normal ese problema por ser una licencia gratis...

    De antemano gracias.
     
  4. ryohnosuke

    ryohnosuke MikroTik Support Guy Administrador

    Me Gusta recibidos:
    626
    Desactiva el plugin youtube.com_patch.

    Saludos.
     
  5. Mixteco

    Mixteco Member

    Me Gusta recibidos:
    5
    Sigue sucediendo.

    Wenas, sucede que deshabilite youtube_patc pero, aun sigue sucediendo en la muchos vídeos (carga 10 segundos y ahí termina el video, tal cual si se hubiera reproducido todo)
    ME PUEDEN AYUDAR, POR FAVOR.
    YA TIEN UN BUEN CON ESTE PROBLEMA Y NO ENCUENTRO SOLUCION

    ADJUNTO INFO:
    Tengo hanilitados los plugins de youtube.com y youtube.com_GTV
    thundercaché 846
    thunder center: v3.4.4
    Servipack: 2.5
     
  6. soul4ever

    soul4ever Well-Known Member

    Me Gusta recibidos:
    27
    desactiba el youtube.com_GTV no esta para nosotros... solo para brazil
     
  7. Mixteco

    Mixteco Member

    Me Gusta recibidos:
    5
    ok voy a probar ahora mismo!

    bueno acá la situación el plugin habilitado es youtube.com
    así que hice un reset a mi activador en bmsoftware.org
    de ahí reincide el thunder en "Restart the server:" hacinedo clic en el boton confirm, en la seccion "Thunder caché service"
    Probe con varios vídeos de youtube co mozilla y safari pero, nada no veo nada de caché en "Real Time transferences", ni el desempeño del video.
    NOTA:
    esto sucede hace casi un mes y antes de esto todo iba de maravilla, el problemita fue cuando salí el Youtube_pacth, lo habilite y despues comenzaron los problemas, ya tarde leí que había que quitarlo así que lo deshabite y ya nada fue igual, poe esas mismas fechas decide modificar el clean cache, haciendolo mas pequeño puesto que estaba guardando demasiado, estos son los dos factores que pudieron haber influido?
     
  8. soul4ever

    soul4ever Well-Known Member

    Me Gusta recibidos:
    27
    ya s eloq pasa , sucede q actualmente por las nuevas politicas de youtube y por las buenas nuevas al TC 7.1 el plugin de youtube no esta funcionanod en todo caso te sugiero q hagas un upgrade a la 7.1 beta con binario 9.10 q hasta el momento es ams estabel sigue als guias de actualizacion y ya podras ver mejoras y grandes diferencias
     
  9. Mixteco

    Mixteco Member

    Me Gusta recibidos:
    5
    GraXX soul4ever, por tu tiempo, lo checaré en este momento!!!1
     
  10. shadownig

    shadownig Well-Known Member

    Me Gusta recibidos:
    70
    amigo.....ryos puso un tutoria como hacer todo eso...tienes q tener cuidado..en poner las cosas q debes...a veces como tengo por ahi conocidos...q se ponen a expriementar ...algunas cosas...q yo ya las hize..por eso recomiendo y si fuera malo les dijera sabes q haslo por ti mismo..pero en razon....si se pone algo en este foro es para ayudar ya que estan hechas las pruebas y si pruebas ...en fin terminaras con mas problemas q al inicio...en fin al menos yo....me siento bien al usar el thunder ya que me ahorra arto video...y arto archivo comprimido...no tengo problemas en esa parte...
     
  11. ivan.garcia

    ivan.garcia Member

    Me Gusta recibidos:
    13
    Pregunta: ejemplo. si estoy viendo un video en youtube que ya había visto (bajado) y se cae el internet y tengo thundercache sigue viendo el video? si voy a otro video que tambien habia bajado lo veo. o simplemente se cae el la red. igual para las imagenes de facebook.com. gracias
    :cool:
     
  12. shadownig

    shadownig Well-Known Member

    Me Gusta recibidos:
    70
    para todo eso tienes que tener al menos un minimo de internet, ya que el thunder es solo un proxy, no hace magia, saludos.
     
  13. ivan.garcia

    ivan.garcia Member

    Me Gusta recibidos:
    13
    Gracias "shadownig"
     
  14. teniccela

    teniccela Member

    Me Gusta recibidos:
    0
    Sos grande Ryoroma xD
     
  15. juan peña

    juan peña New Member

    Me Gusta recibidos:
    1
    ¡¡Que alguien me ayude!! Tengo una idea extraña y es que no se si podre meter unas cuantas películas a la carpeta donde se hace CACHE y mis clientes poniendo el nombre de la película ej: www.rambo3.com y haci también yo ponerle el mismo nombre url a la película.¿Se podrá? Seria un gran servicio para ofrecer.
     
  16. ALEJANDROGORDON

    ALEJANDROGORDON Well-Known Member

    Me Gusta recibidos:
    1.733
    no se puede hacer para eso deberias poner un servidor de video.
     
  17. juan peña

    juan peña New Member

    Me Gusta recibidos:
    1
    ¿Un servidor de vídeos? Y eso puede hacer lo que quiero, mi idea es tener esas películas para que mis cliente disfruten de ellas y ahorrar banda.
     
  18. ALEJANDROGORDON

    ALEJANDROGORDON Well-Known Member

    Me Gusta recibidos:
    1.733
    si claro hay podras hacer lo que pretendes
     
    A teniccela le gusta esto.
  19. juan peña

    juan peña New Member

    Me Gusta recibidos:
    1
    Eso esta bien muchas gracias ahora voy en buscar todo lo relacionado a servidor de vídeos y a prepararme uno.
     
    A vicente gonzalez le gusta esto.
  20. leandro_soldaty

    leandro_soldaty New Member

    Me Gusta recibidos:
    1
    hola como estan tengo una duda!!! yo tengo 4 rb 750 en distintas redes con 35 clientes en cada rb quiero hacer un thundercache.. ¿puedo hacer un thundercache en un pc y de ahi poner un switch a cada uno de los rb 750??
     
    A vicente gonzalez le gusta esto.

Compartir esta página