Por exemplo, na última década, o Facebook construiu uma rede global de 15 grandes data centers e centenas de sites de rede de borda, operando centenas de milhões de usuários, milhares de programas de software e a cada dois Houve uma atualização de software em uma hora, disse Jay Parikh, diretor de engenharia e infraestrutura da empresa: "Quando você está construindo um sistema descentralizado que afeta bilhões de pessoas todos os dias, é muito legal ... e assustador".
No primeiro seminário em larga escala do sistema de software distribuído da empresa, realizado na sede da empresa na Califórnia, Parikhy disse ao público cerca de 200 engenheiros de software e convidados: “Tudo com que lidamos é um problema de sistema descentralizado, isso no passado. No ambiente em escala, isso nunca foi feito ... incluindo a construção de cabos submarinos por conta própria - tudo o que a indústria nunca tratou antes.
Ele destacou que os desafios de hardware de computadores e redes, assim como o banco de dados e outros softwares implementados em hardware, irão interagir entre si, resultando em questões como eficiência, cultura, orçamentos, etc., e tudo estará ligado entre si. '
O evento também convidou programadores da Amazon Web Services, do Google, do piloto Lyft e da plataforma de e-commerce Shopify para compartilhar as mais recentes tecnologias e explorar o uso de gerenciamento, incluindo a descentralização global. Banco de dados, depuração do sistema e como acelerar a recuperação quando o sistema é interrompido.
O Facebook discutiu o progresso de dois sistemas de software descentralizado e de código aberto, um que envia rapidamente mudanças na configuração para a arquitetura de milhões de servidores e um que lida com problemas de memória fora de ordem no espaço do usuário do sistema operacional. Programa.
Eles fazem parte da vasta plataforma de software de computação em nuvem do Facebook para suportar seus quatro aplicativos amplamente utilizados - Feed de notícias, Instagram, Messenger e WhatsApp - e o software Oculus, uma pequena comunidade de usuários.
Software de código aberto e hardware aberto ... chips?
O Facebook vem substituindo lentamente os softwares e hardwares comerciais existentes na arquitetura de rede por suas próprias soluções de software ou hardware, transformando-as em código aberto, por exemplo, nos últimos anos, a empresa estará pronta. O banco de dados (MySQL), o programa Memcached e o Web Services Language (PHP) são substituídos por seus próprios códigos desenvolvidos e liberados como código aberto.
O evento Systems @ Scale na sede também foi projetado para permitir que engenheiros de software do Facebook interajam com colegas de outras empresas com o objetivo de acelerar a busca de soluções comuns para os desafios descentralizados do sistema que enfrentam.
Do lado do hardware, o Facebook agora geralmente usa servidores e switches construídos em chips de prateleira com suas próprias especificações, ao invés de sistemas comerciais de fornecedores.De acordo com fontes da indústria, o Facebook tem recrutado engenheiros de semicondutores desde a primavera. O porta-voz da empresa se recusou a comentar, apenas para divulgar os planos de desenvolvimento de chips em um evento que pode ser realizado em setembro.
As especificações de hardware do sistema do Facebook são geralmente lançadas através do Open Compute Project, que foi estabelecido em 2011. Se a empresa irá abrir suas próprias especificações de chips no futuro, ainda não se sabe.
20180723_datacenter_NT01P1
O Facebook tem 15 grandes datacenters em todo o mundo, mas ainda supera os 18 locais da Amazon em todo o mundo a partir de 2017. Cada um dos redutos da Amazon tem um número diferente de centros de dados (números no círculo amarelo)
Outra grande questão é: onde o Facebook e seus concorrentes levam o futuro do mundo da computação a uma taxa louca, e que gargalos podem encontrar?
Alguns legisladores dos Estados Unidos acreditam que o Facebook tocou em um obstáculo político porque usou o sistema de automação para influenciar milhões de eleitores nas últimas eleições presidenciais, e algumas pessoas dizem que estão brincando com os consumidores. Todos os dados que os usuários inocentes têm prazer em compartilhar são vendidos, mas até agora quase não são supervisionados pelo governo.
Tecnicamente, a gigante da Internet vem impulsionando redes ópticas e de cobre mais rápidas há anos, e elas precisam das duas tecnologias para conectar um grande número de servidores e centros de dados no data center.
Ao longo dos anos, os engenheiros de rede têm atrasado a geração de redes com classificação Terabit / s.Terabit / seg redes são mais rápidas do que outros requisitos comerciais e, em alguns casos, até mesmo para além dos limites da lei de Moore ou as leis da física. Quaisquer que sejam os resultados de empresas como o Facebook que continuem a expandir o tamanho de seus data centers, é claro que os veremos em breve.
O cenário futuro, como disse Parikh, será "legal e assustador": os gigantes da Internet estão construindo em velocidades nunca vistas antes, expandindo grandes sistemas de automação, dezenas de bilhões de consumidores e milhares de usuários. As empresas estão consumindo muitos serviços que operam e disse: "A primeira grande motivação para mim é agir rapidamente em uma infraestrutura estável".
Compile: Judith Cheng