ADACHIN SERVER LABO

  • Home
  • About Me
  • Server Metrics
  • Event
  • Privacypolicy
  • Wiki
  • Contact

Digdag

digdag shell script slack

[Digdag][shell script]slack/chatworkでシンプルなエラー通知を行う

今までDIgdagでエラー通知をchatworkで行っていたのですが、slackでイケてる通知できな 続きを読む…

投稿者:adachin 投稿日時:5年2018/08/31前
BigQuery digdag embulk MySQL

[BigQuery][Digdag][SQL][embulk-filter-column]年と月を保持するためのカラム追加はembulkでできる!

月次で、あるDBをBigQueryに転送したい場合、 実行した年と月をカラムに出力しないといつ実行さ 続きを読む…

投稿者:adachin 投稿日時:5年2018/07/25前
BigQuery Blog digdag embulk GCP MySQL

[Digdag][embulk][MySQL]BigQueryにtinyint,bool型を入れるにはSIGNED型にする必要がある

RDSにあるデータをembulkを使ってBigQueryに飛ばすようにテストを繰り返していたところ、 続きを読む…

投稿者:adachin 投稿日時:5年2018/07/13前
AWS digdag embulk MySQL

[AWS]RDS(Aurora)のgeneral_logはTRUNCATEで削除できない!?

本日はembulkでBigQueryからRDS(Aurora)に何回もrunしたら、 DBがフェイ 続きを読む…

投稿者:adachin 投稿日時:5年2018/06/07前
AWS BigQuery digdag embulk GCP MySQL SQL

[Digdag][embulk-input-bigquery]BigQueryからMySQLにクエリーを飛ばすには!?

今回はembulkでBigQueryのview table(クエリー)をMySQL(Aurora)に 続きを読む…

投稿者:adachin 投稿日時:5年2018/06/06前
digdag embulk

[Digdag][embulk]過去ログを投入するのに手動で日付を指定するのは辛いのでシェルスクリプト化してみた

!!!!!!! [Treasure Data][Redash]Digdagとembulkを使いこなせ 続きを読む…

投稿者:adachin 投稿日時:5年2018/05/10前
digdag embulk Redash

[Treasure Data][Redash]Digdagとembulkを使いこなせば驚異的な分析基盤が出来上がる!!

最近Digdagとembulkを勉強してまして、以前、イマイチDiddagについてまったく理解出来ま 続きを読む…

投稿者:adachin 投稿日時:5年2018/05/04前

投稿ナビゲーション

前へ 1 2
Search🏃
Follow me😁
Follow Us on FacebookFollow Us on TwitterFollow Us on GithubFollow Us on LinkedInFollow Us on speakerdeck
Access Rainking😋
  • [AWS][Terraform]terraform destroyで特定のresourceだけ削除したい場合
  • [Linux][SSH]Warning: Permanently addedをダマラした
  • [Zabbix]DBが肥大化して死にそうになったので対策してみた
  • [AWS]Auroraで別DBに複製したい場合はクローン機能が最強だった!!
  • [AWS][Terraform][v1.3.0]M1 MacでTemplate Providerをインストールさせる
Tags🤔
Alpine Linux (5) Ansible (30) Apache (6) AWS (105) BigQuery (12) CakePHP (6) CentOS (18) Chef (6) CircleCI (24) ConoHa (5) coreos (7) Digdag (20) DigitalOcean (16) Docker (55) ECS/Fargate (18) Embulk (17) GCP (10) Git (8) GitHub (7) Go (8) H2O (21) Kubernetes (10) Linux (23) mac (11) Mackerel (9) MySQL (15) Nginx (17) PHP (9) Python (8) Rails (6) Redash (16) redmine (5) Ruby (9) Security (16) shell script (10) slack (6) SSH (10) Terraform (49) tmux (7) ubuntu (7) vulnerability (7) Vuls (28) WordPress (10) zabbix (14) 勉強会/交流会 (30)
Archives👍
MENTA 📖

 

  • Home
  • About Me
  • Server Metrics
  • Event
  • Privacypolicy
  • Wiki
  • Contact
Hestia、作成者: ThemeIsle