GCP
TL;DR インスタンスリソース (CPU, Memory size, etc...) がどれぐらい必要か確認して十分なサイズを設定するエラーが出た時はStackdriver Loggingのログをよく確認すること gcloud app deployでデプロイした後ブラウザからアクセスすると以下のような502エ…
やりたかったこと リクエストするためにREST APIを使用したいリクエストはほとんど 0 req/sec だが1日に数度 50 req/sec ぐらいになるプロジェクトには専属の開発や運用をする人はいないGoogle Cloud Platformを使いたい TL;DR やりたかったことにフィットし…
Cloud Dataflow pipeline上で自作パッケージを使う場合は setup.py を作成して --setup-file オプションで指定しなければなりません。 以下のようなディレクトリ構成で main.py が my-package に依存していたとします。 Dataflow |- my-package/ |- helper.p…
TL;DR google-cloud-datastoreの代わりにCloud Datastore’s helper methodを使用する。 より詳しく Apache Beam pipelineのインスタンスを作る直前にCloud Datastoreからデータを取得したいと思い ReadFromDatastore を Cloud Dataflow上のapache_beam.io.gc…
TL;DR Configure your instance resources (CPU, Memory size, etc…) properlyIf you occur errors check Stackdriver Logging I tried to run my docker image in Google App Engine as App Engine Flexible Environment. Deployed my app with gcloud app …
Requirements for us Use REST API for receiving requestsRequests a system we are developing spike up about 50 req/sec or almost 0 req/secThe project doesn't have a developer or operator exclusivelyWe use Google Cloud Platform TL;DR We decid…
If you run Cloud Dataflow pipeline with some your local package, you must create setup.py and specify --setup-file option. Assume that you have a directory structure like below and main.py depends on under the my-package packages. Dataflow…
TL;DR Use Cloud Datastore's helper method instead of google-cloud-datastore. More Details I wanted to read data from Datastore before running an Apache Beam's pipeline that uses ReadFromDatastore from apache_beam.io.gcp.datastore.v1.datast…