GitHub libera 3TB de dados sobre projetos open-source

Screen Shot 07-03-16 at 04.55 PM.PNG

 

Em parceria com o Google, o GitHub anunciou o lançamento de uma coleção incrível de dados sobre projetos open-source.
Os mais de 3TB (terabytes) contêm dados de mais de 2.8 milhões de projetos, incluindo mais de 145 milhões de commits únicos.
E o mais legal, tudo isso está disponível no BigQuery, um serviço de banco de dados do Google que permite lidar com um grande volume de dados.

Ter acesso a esse tipo de dado é muito legal, pois podemos fazer queries dinâmicas, como por exemplo: Projetos mais populares utilizando o framework X ou Y, quais projetos possuem mais contribuidores, e por aí vai. Basta usar a imaginação e a necessidade.

O GitHub já possui o projeto GitHub Archive, lançado em 2012, que já disponibiliza uma série de dados sobre projetos open-source.
Essa parceria com o Google agora expande ainda mais o projeto.

 

Veja abaixo com ficou:

SELECT  
  REGEXP_EXTRACT(line, r'"([^"]+)"') AS url,
  COUNT(*) AS count
FROM  
  FLATTEN( (
    SELECT
      SPLIT(SPLIT(REGEXP_EXTRACT(content, r'.*import\s*[(]([^)]*)[)]'), '\n'), ';') AS line,
    FROM (
      SELECT
        id,
        content
      FROM
        [bigquery-public-data:github_repos.sample_contents]
      WHERE
        REGEXP_MATCH(content, r'.*import\s*[(][^)]*[)]')) AS C
    JOIN (
      SELECT
        id
      FROM
        [bigquery-public-data:github_repos.sample_files]
      WHERE
        path LIKE '%.go'
      GROUP BY
        id) AS F
    ON
      C.id = F.id), line)
GROUP BY  
  url
HAVING  
  url IS NOT NULL
ORDER BY  
  count DESC
LIMIT 10  

 

Anúncios

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s