Amazon SageMaker
2023/5/24 7:50:00
T5にtzmtwtr/tw-posts-jaを学習させようとしたら10時間かかるって言ってて、さすがにGoogle Colaboratoryで無料で学習するの無理なので、Amazon SageMakerに切り替えていく
SagemakerでGPUインスタンスを使おうとしたら制限に引っかかったので、制限緩和申請を出した
あと、せっかくPCにGPU(1070Ti……)が載ってるので、ローカルでも回してみよう。
Google ColaboratoryからJupyter notebookをダウンロードしてローカルで動かす。
AWS Trainium と AWS Inferentia アクセラレーター上の機械学習を最適化する SDK
AWS Deep Learning AMIs と AWS Deep Learning Containers には、AWS Neuron が事前に設定されています。コンテナ化されたアプリケーションを使用している場合、Amazon Elastic Container Service (ECS)、Amazon Elastic Kubernetes Service (EKS)、またはお好みのネイティブコンテナエンジンを使用して、Neuron をデプロイすることができます。Neuron は、データ科学者やデベロッパーが機械学習モデルの構築、トレーニング、およびデプロイに使用できる Amazon SageMaker もサポートしています。