Como transferir um bucket S3 para o Google Cloud Platform Storage

Se você estiver migrando da AWS para o Google Cloud Platform, poderá ter muitos dados armazenados nos buckets S3. Felizmente, o Google fornece uma ferramenta para transferir automaticamente o conteúdo do bucket para sua própria plataforma de armazenamento em nuvem.

Transferindo um bucket S3 para o armazenamento em nuvem

O

Cloud Storage funciona de maneira muito semelhante ao serviço S3 da AWS, e na maioria dos casos deve servir como um substituto para o S3, com alguns pequenos ajustes nos aplicativos clientes. O Google fornece um ótimo guia para migrar aplicativos clientes baseados em S3 para o Cloud Storage.

No entanto, você também precisará transferir sobre cada bucket S3 para um bucket do Cloud Storage. Esse processo pode demorar um pouco para grandes buckets, mas pode ser automatizado com bastante facilidade usando as ferramentas de transferência de dados incorporadas ao GCP.

No que diz respeito à AWS, você precisará criar um usuário de serviço que possa acessar os buckets S3. Você pode usar um já existente, mas criar um novo é bastante fácil e pode ser excluído após todo o processo. No IAM Management Console (o da AWS), crie um novo usuário e conceda acesso programático, o que criará uma chave de acesso e um segredo.

Você pode atribuir AmazonS3FullAccess, mas é melhor criar uma nova política com permissões de leitura e lista para os buckets que você transferirá:

Clique em Avançar para criar o usuário e mantenha a guia com a chave de acesso e o segredo abertos.

Agora, vá para o Google Cloud Platform e selecione Transferência de dados > Serviço de transferência da barra lateral.

Selecione “ Amazon S3 Bucket & ” digite o nome do bloco e cole o ID da chave de acesso.

Para o intervalo de destino, você provavelmente precisará criar um novo. Clique em 'Procurar', ” e crie um novo bucket com as permissões e configurações que você gostaria de usar.

Você tem algumas opções para a transferência que pode verificar aqui. O primeiro substituirá os arquivos existentes no intervalo de destino que tenham o mesmo nome. Isso não deve importar muito com um novo balde de destino. O segundo removerá itens do intervalo de origem assim que a transferência for concluída. Se você ainda estiver trabalhando na transferência de aplicativos clientes para a nova infraestrutura, precisará garantir que isso esteja desmarcado (e se você deu apenas ao usuário do IAM acesso de leitura / lista, isso não acontecerá). trabalho de qualquer maneira). A terceira limpará essencialmente o balde de destino de qualquer coisa que não esteja no balde de origem. Isso novamente não deve importar para novos baldes.

Clique em 'Continuar', ” e clique em "Criar". A transferência deve começar automaticamente. Se houver apenas alguns itens, levará apenas alguns minutos. Você pode visualizar o status da transferência no console do Data Transfer:

Você precisará repetir esse processo para cada bloco S3. Se você tiver muitos buckets S3 para que isso seja viável, convém automatizar toda a transferência usando a API de transferência de armazenamento.

Via: How to Geek