タイトル

Need for Answer

ラベル aws の投稿を表示しています。 すべての投稿を表示
ラベル aws の投稿を表示しています。 すべての投稿を表示

2018年6月29日金曜日

AWS EC2のタグからホスト名を変更したい(AmazonLinux2/CentOS7)

EC2のNameタグについてる名前をHostnameにするコマンドです。
CentOS7及びAmazonLinux2でのコマンドになります
AWSコンソールで名前をつけたあと、実行するといいんじゃないでしょうか

INSTANCEID=`curl -s http://169.254.169.254/latest/meta-data/instance-id/`
Name=`aws ec2 describe-instances --region ap-northeast-1 \
             --instance-ids ${INSTANCEID} \
             --output text \
             --query 'Reservations[].Instances[].Tags[?Key==\`Name\`].[Value]'`
sudo hostnamectl set-hostname ${Name}
hostname

2018年6月28日木曜日

Elastic Load BalancingのCLBとALBは何がちがうのか(TCP的に)

ALB使ってますか!
正直CLBで良いんじゃない…って人、多いと思います!

CLBはL4でALBはL7…とか色々あると思いますが、あまり注目されてないポイントとして「TCP Keepaliveされるか?」というのがあります

[ユーザー]-[ELB]-[APサーバー]

という構成があるとします。

[ELB=CLB]
ユーザーアクセスが終了したあと、ELB-APサーバー間で数秒間TCP Keepaliveされます。正確に言うと「ESTABLISHED」のままになります。これはHTTP/TCPどちらで死活監視しても一緒です。

[ELB=ALB]
ユーザーアクセスが終了したあと、即時に「TIME_WAIT」に移行します。

これによって何が違うのか?というおはなしなのですが、APサーバーがdjangoやrailsのようなアプリケーション・サーバーの場合に非常に困ることになります。

ユーザー通信が終了しているにもかかわらず、そのプロセスがCLBのKeepaliveによって開放されないため、次の通信に即時に使えない状態になります。それが積み重なった結果、APサーバーのプロセスがCLBによって使い潰されます。

要は『ECSのバランサーにCLBを使わないほうがいい』というおはなしです

2015年6月4日木曜日

ErastiCache for RedisでFailOverが発生すると何がおこるのか?のまき

これからタイトルどおりのお話をするのですが、Multi-AZ構成を取っていたとしても何がおこるか知らない人多いんじゃないでしょうか?AWSのドキュメント見ても、挙動の記載が無いのです。

結論から言うと、2パターンあります。
  1. Read Replicaがprimaryに昇格し、旧primaryはread replicaとして同期
  2. 自身の持っているイメージからデータを復元(read Replicaが使えない場合)
1から説明しますと、Multi-AZのRead Replicaが存在する場合は素直に切り替わります。これはDNSで切り替わるため、Primary Endpointに紐付いたNodeが、新しいprimaryに切り替わリます。その際、降格したread replicaはデータが空の状態で同期を開始します。

問題は2です。primaryがread replicaに降格するのですが、そのタイミングでデータをローカルにバックアップします。正確に言うと、こんなかんじの流れです。
  1. 障害検知したタイミングで、データをローカルにバックアップ
  2. 再起動
  3. データが空の状態でredisが起動
  4. 新primaryに問題ない場合はread replicaとして起動し、primaryからデータ同期
  5. 新primaryに問題がある場合はprimaryとして起動し、1.からデータを復元
何が問題か?という話なのですが、1~5の間は『read,writeがロックされた状態』になります。つまり長時間redisにアクセス出来ない状態になります。

…大変っすね!


2015年4月6日月曜日

awscliでS3バケットにあるファイルを、パターンマッチでダウンロードしたいのまき

AWS S3でバケットに収納したログをダウンロードしたい時、awscliを使う事があると思います!その時、ファイル名を指定してダウンロードしたいなーという時のお話。

下記のようにバケット内にログがいっぱいあるとき、パターンマッチでダウンロードしたいということですね。

2014-01-01.log
2014-01-02.log
2014-01-03.log
2014-01-04.log
(中略)
2015-04-01.log
2015-04-02.log
2015-04-03.log
2015-04-04.log

でこれをダウンロードするときなのですが、excludeオプションで全部除外しないとだめなのです。全ファイルがダウンロード対象になってしまいます。

あとはincludeオプションでパターンマッチかければ大丈夫!

 aws s3 cp s3://[bucket-name] [local-dir] \
    --recursive \
    --exclude "*" \
    --include "*2015-04-*" 

2014年11月28日金曜日

AWS-VPCでNATインスタンスを切り替えるのまき

AWS-VPCでNATインスタンス…作ってますか!

NATインスタンスが単一障害点だから…って無言のプレッシャーかけられてるエンジニア、多いと思います!

ということでNATサーバーを切り替えるスクリプト作りました。
NATインスタンスにIAM_Roleを適用してから使うといいと思います!

#!/bin/sh
#======================================================
# NATインスタンスを自分に切り替えるスクリプト
#======================================================
#======================================================
# 概要
#------------------------------------------------------
# 特定のルーティングテーブルのアウトバウンド(0.0.0.0/0)
# を、「シェルを実行しているインスタンス」へ切り替える
# スクリプトです
#======================================================
# つかいかた
#------------------------------------------------------
# 1 - 待機側のインスタンスが、稼働側のインスタンスを死活
#     監視する(実装して下さい)
# 2 - 死亡が確認されたらこのシェルを実行してください
#======================================================
# 前準備
#------------------------------------------------------
# VPC => RouteTable で、「NATサーバーを通過するRouteTableID」
# を調べる。NATインスタンスのいるRouteTableIDではないので
# 注意。下のCHANGE_RTBに記載する
#------------------------------------------------------
CHANGE_RTB="[ここを書き換える]"
#======================================================

# リージョンを宣言 ------------------------------------
export AWS_DEFAULT_REGION=`curl --connect-timeout 3 -s http://169.254.169.254/latest/meta-data/placement/availability-zone | sed 's/.$//g'`
MY_ID=`curl -s http://169.254.169.254/latest/meta-data/instance-id`

echo "================================="
echo " CHANGE RouteTable..."
echo "================================="
echo " Current Setting => " `ec2-describe-route-tables ${CHANGE_RTB} --region ${AWS_DEFAULT_REGION} | grep 0.0.0.0`
echo "---------------------------------"
echo " CHANGE RouteTable => ${CHANGE_RTB} / MyInstance-ID => ${MY_ID}"
echo "---------------------------------"

ec2-replace-route ${CHANGE_RTB} --region ${AWS_DEFAULT_REGION} -i ${MY_ID} -r 0.0.0.0/0

echo " Done!!"
echo " Current Setting => " `ec2-describe-route-tables ${CHANGE_RTB} --region ${AWS_DEFAULT_REGION} | grep 0.0.0.0`
echo "================================="

2014年11月24日月曜日

ELBからのヘルスチェックは適当に200を返そう

Elastic Load Balancing(ELB)便利ですね!ELBの後ろにnginxを置いてる人、多いと思います!

…なのですが、ELBのHTTPヘルスチェックのためにファイルを置くのめんどくさい!ELBにはHTTPで応答できるかだけ監視して欲しいってこと…あると思います!

ということでこんな設定でどうでしょうか!

map $http_user_agent $bot {
  default                  0;
  ~*(ELB-HealthChecker)    1;
}

server {
    if ($bot = 1) {
      return 200;
    }
}

2014年10月1日水曜日

AWSのELBのエフェメラルポートは1024-65535

タイトルに書いてあることが全てなのですが、Amazon Web ServicesのElastic Load Balancingのエフェメラルポートは1024-65535です。ここに書いてあります。
Network ACLs - Amazon Virtual Private Cloud

これが何か?という話なのですが、「Amazon Virtual Private CloudのNetworkACLを使うと、エフェメラルポートを指定する必要がある」ということなんですね。ここでポイントになるのが、「クライアント→ELB→EC2」という通信路の「ELB→EC2」部分のエフェメラルポートになります。

ちなみにLinuxの使うエフェメラルポートは32768-61000です。念のため確認するにはこんな感じのコマンドです。

cat /proc/sys/net/ipv4/ip_local_port_range

どーでもいいんだけど、NetworkACLってTCPフラグで書けるようにならないのかな…

2014年6月18日水曜日

AWSコンソールに複数アカウントでログインしたい!

AWS案件を複数抱えていると、AWSコンソールを複数アカウントで比較したいこと…有りますよね!
ということでやり方です!

GoogleChromeでシークレットモードを使いましょう!WindowsならCTRL+SHIFT+Nです!これで通常とシークレットモードの2つ、アカウントを同時にオープンできます!

…これでは足りない人は、GoogleChrome拡張機能のMultiLoginを使いましょう!開いているタブごとにアカウントを変更することが出来ます!万事解決。

2014年3月27日木曜日

AWSと消費税

AWSを利用している皆さん、『東京リージョンにおけるAWSのサービス料金請求プロセスの明確化に関する御案内』というメール来てますよね!(2014年3月時事ネタ)

AWSの請求って『税金』の部分が見えないから意識しないですよね。意識しても取られてますが!ということで調べてみました。

…実は『AWS の請求に関するよくある質問』を読むとあっさり解決してしまうのですが、簡単に言うと『「既定のお支払い方法」に関連づけられた住所』に基づいた税金がかかります。

つまり東京リージョン以外のEC2とかを使っていても、税率が変わるとかは無いということですね。といっても日本では『売上税』は取られないのですが!

あと消費税について記載のある部分は『Amazon EC2 よくある質問』ですね。表示価格は消費税込みです。

2014年3月19日水曜日

『大事なことはタグに書く』的なお話

AWS EC2運用をしていると、『AWS運用に関する変数』をどうやって収納するか悩みますよね!OSのユーザー権限とも違うし、テキストで置いたらセキュリティ的にも…とか思うと夜も寝られません。

ということで、『EC2のタグに書いてしまえばいいじゃない!』という発想もあるよ!というお話です。

色々利点は有るのですが、一番の利点は『AWS Management Console上で確認・変更できる』ということじゃないでしょうか。

awscli+jqのサンプルコードを書いてみました。


# タグをつける
# 同一Keyに実行すると、上書きされる
aws ec2 create-tags --resources `curl -s http://169.254.169.254/latest/meta-data/instance-id` --tags "Key=TEST,Value=TESTValue"

# タグの値を取得
aws ec2 describe-tags --filters "Name=resource-id,Values=`curl -s http://169.254.169.254/latest/meta-data/instance-id`"|jq -r ‘.Tags[] | select(.Key=="TEST")|.Value’ ⇒ TESTValue  or null

# タグを削除
# keyが存在しなくてもreturnはtrue
aws ec2 delete-tags --resources `curl -s http://169.254.169.254/latest/meta-data/instance-id` --tags "Key=TEST"

2014年3月17日月曜日

AWSのアクセスキーとシークレットキーを運用する

AWSより「AWS アカウントアクセスキーの管理方法に関する重要な変更」というメールを貰った皆さん!IAMできちんと運用してないですよ、と注意されたようなものですね!

…ということでAWSのアクセスキーとシークレットキーってどうやって運用するのが良いの?というお話。結論を先に言うと、『権限が限定されたAWSアクセスキーを作る』ということです。

以下本題。

セキュリティの根本的な考え方として、『WEBに公開しているシステムは、実行ユーザーで出来る全てのことをやられる可能性が有る』というのが有ります。

仮にApacheをApacheユーザーで実行していたとしたら、コンソールでApacheユーザーにスイッチした時に出来る事は全て出来る、と考えます。『ブラウザからアクセスしているから大丈夫』とか『ベーシック認証かけてるから大丈夫』なんて何の防御力も無いです。

つまり、『実行ユーザーには最低限の権限だけを与えて、ハックされても問題ないようにする』ということです。『入られない』ではなく、『入られても問題ない』を中心に考えよう、ということです。

この考えはAWSのユーザー管理も一緒です。つまり『AWSアクセスキーとシークレットキーが漏れても、権限を絞っておけば被害が抑えられる』と考えます。


これを実運用に落とし込みます。AWSは権限を、『IAMで作成するユーザー単位』で定義します。つまり、『このユーザーはAWSのどの機能まで使えるのか?』ということです。

新規作成されたAWSアカウントは『ルートアカウント』と呼ばれ、AWSへのアクセス権限がフルにあるということです。(Administrator・rootをイメージして頂ければよいかと)

その上でIAMでユーザーを新規作成し、画面に出てきたAWSアクセスキーとシークレットキーを控えておきます。

そのアカウントに最低限の権限を付与します。(S3にだけアクセスできる、とか)

あとはそのキーを利用すれば、最低限のセキュリティは守られるという事になります!

『入られる事を前提』と考えますと、『入り口を限定すること』『定期的にキーを変更すること』といった運用が必要、という事にもなりますね。

2014年3月14日金曜日

なぜELB経由のEC2にGlobal IPを割り当てられないのか?

ELBでアクセスしているEC2。AWSインフラ構築者が一度は聞く相談として、『ELBで公開しているWEBに、固定Global IPも割り当てたいんだけど?』が有ります…よね。

なんでみんな気軽に『Elastic IPをEC2に割り振ればいいんじゃないの?』って言うんでしょう!

『出来ない』と答えるにしても、説明面倒ですよね!
そんな悲しい歴史を断ち切るために、わかりやすく解説しました!

ELB経由でアクセスする、通常パターンを図解してみました。


ここでは簡単に『EC2は、外部(0.0.0.0/0)から来た通信を、ELBにのみ打ち返している』と思ってくれればいいです。

さて、このEC2にElastic IPを割り当てましょう。そして外部からアクセスするとどうなるでしょうか?(NGパターンですね。)


これが『通信できない』状態です。つまり『EC2はElastic IPから来た通信を、ELBに打ち返している』のです。外部からの入り口が2つになっても、EC2がどの入口にレスポンスを返却すれば良いのかは判ってないのです。

そしてデフォルトの通信経路、ELBに向かって通信を返します。受け取ったELBは返却先が判らないので、通信が迷子になるのです。説明おしまい。

※解決方法は色々あるので説明省略!

2014年3月13日木曜日

AWS EC2バックアップを定期的に取得する方法(awscli+jq版)

AWS EC2のストレージ信頼度は高いです。が、人為ミスによるコンテンツ紛失はどうにもなりません。…EC2をバックアップしたいという需要はクラウドでも一緒ですね。

先人の作り上げたShellScriptをawscli+jqで移植しよう!というお話です。STOP!車輪の再発明!

長いので使い方を先に説明しますと、『all_createsnapshot.sh』をどこかのEC2で実行すると、タグ付けられたEC2-Instanceを全部バックアップします!cronに登録しておくと良いと思います!

前置き終了以下解説。

『awscli』と『jq』のインストールが必須です。
jqはパスの通った所に置いて下さい。

まずはShellScriptから説明します。

2つのShellScriptは同一ディレクトリに設置して下さい。awscliの設定ファイル設置場所をハードコードしておりますので、各自ご修正ください。

2つのShellScriptの役割はこんな感じです。
  • all_createsnapshot.sh ⇒ バックアップ対象のEC2のInstance-IDをリスト化
  • createsnapshot.sh ⇒ Instanse-IDを渡すとSnapshotを取得。過去分は削除。
ログは『標準出力』『/var/log/message』の2つに出力されます。

ShellScriptはパラメータを渡して実行する事ができます。
通常は自動取得されますので、設定の必要は無いです。

all_createsnapshot.sh
パラメータ 内容 未指定時
-h ヘルプを表示 表示しない
-c AWS_CONFIG_FILEの場所を指定
(外部から引き渡すときに使用)
Shell内設定を使用

createsnapshot.sh
パラメータ 内容 未指定時
-h ヘルプを表示 表示しない
-c AWS_CONFIG_FILEの場所を指定
(外部から引き渡すときに使用)
Shell内設定を使用
-i SnapShotを取得したいInstanceID 実行中のインスタンス
-g SnapShotを保存する世代数 5

#!/bin/bash
#
# All Instances CreateSnapshot script

CONFIG_FILE=/root/aws/account.txt

opterror(){
    echo "Usage: $prog -c [config]" 1>&2
    echo "             -h HELP"
    exit 1
}

while getopts c:h OPT
do
  case $OPT in
    "h" ) HELP=1 ;;
    "c" ) CONFIG="$OPTARG" ;;
      * ) opterror
  esac
done

# TimeWatch Start ----------------------------
START_TIME=`date +%s`
TMPTXT="$0 Start EC2 SnapShot JOB..."
echo "${TMPTXT}" && logger -t $0 -i "${TMPTXT}"

# Exec ---------------------------------------
test ! -z $HELP   && opterror
test ! -z $CONFIG && CONFIG_FILE=${CONFIG}

export AWS_CONFIG_FILE=${CONFIG_FILE}
script_dir=$(cd $(dirname $BASH_SOURCE); pwd)

# Exec Failed Check --------------------------
test -z ${AWS_CONFIG_FILE} && echo "Not Set AWS_CONFIG_FILE ..." && exit 1
test ! -f ${script_dir}/createsnapshot.sh && echo "Not Find createsnapshot.sh ..." && exit 1

# Loop Tagged Instances
aws ec2 describe-instances --filters "Name=tag-key,Values=backup" "Name=tag-value,Values=ON"|jq -r ".Reservations[].Instances[].InstanceId"| while read INSTANCE_ID
do
    GENERATION=`aws ec2 describe-instances --instance-id=${INSTANCE_ID} |jq -r '.Reservations[].Instances[].Tags[]|select(.Key== "generation").Value'`
    test -z ${GENERATION} && GENERATION=5

    TMPTXT="Backup INSTANCE is ${INSTANCE_ID} and Generation is ${GENERATION}"
    echo "${TMPTXT}" && logger -t $0 -i "${TMPTXT}"

    if [ ! -z $CONFIG ];then
        ${script_dir}/createsnapshot.sh -i ${INSTANCE_ID} -g ${GENERATION} -c $CONFIG
    else
        ${script_dir}/createsnapshot.sh -i ${INSTANCE_ID} -g ${GENERATION}
    fi
done

# TimeWatch STOP -----------------------------
END_TIME=`date +%s`

SS=`expr ${END_TIME} - ${START_TIME}`

HH=`expr ${SS} / 3600`
SS=`expr ${SS} % 3600`
MM=`expr ${SS} / 60`
SS=`expr ${SS} % 60`

TMPTXT="$0 exec Total Time => ${HH}:${MM}:${SS}"
echo "${TMPTXT}" && logger -t $0 -i "${TMPTXT}"

#!/bin/bash
#
# CreateSnapshot script
# using awswcli + jq

CONFIG_FILE=/root/aws/account.txt
export LANG=C

#=====================================================
opterror(){
    echo "Usage: $0 -i [instance_id] -g [backup generation] -c [config]" 1>&2
    echo "          -h HELP"
    echo "          if Not Defined instance_id, take Backup Myself."
    exit 1
}

while getopts i:g:c:h OPT
do
  case $OPT in
    "h" ) HELP=1 ;;
    "i" ) EC2_INSTANCE_ID="$OPTARG" ;;
    "g" ) EBS_GENERATION_COUNT="$OPTARG" ;;
    "c" ) CONFIG_FILE="$OPTARG" ;;
      * ) opterror
  esac
done

#------------------------------------------------------
test ! -z $HELP && opterror
test ! -z $CONFIG && CONFIG_FILE=${CONFIG}

export AWS_CONFIG_FILE=${CONFIG_FILE}

test -z $EC2_INSTANCE_ID && EC2_INSTANCE_ID=`curl -s http://169.254.169.254/latest/meta-data/instance-id`
test -z $EBS_GENERATION_COUNT && EBS_GENERATION_COUNT=5
#======================================================

EBS_VOLUME_ID=`aws ec2 describe-volumes|jq --arg hoge ${EC2_INSTANCE_ID} -r '.Volumes[]|select(.Attachments[].InstanceId ==$hoge)|.VolumeId'`

# Create SnapShot --------------------
NOW=`date +"%Y/%m/%d %k:%M:%S"`
DESCRIPT_TXT="AutoBackup ${EC2_INSTANCE_ID} created at ${NOW}"
aws ec2 create-snapshot --volume-id ${EBS_VOLUME_ID} --description "${DESCRIPT_TXT}" >/dev/null 2>&1

# Error Catch ------------------------
RESULT=$?
TMPTXT="${EC2_INSTANCE_ID} create snapshot ${EBS_VOLUME_ID} "

if [ ${RESULT} -ne 0 ];then
  TMPTXT="${TMPTXT} => failed..."
else
  TMPTXT="${TMPTXT} => Success!!"
fi

echo "${TMPTXT}" && logger -t $0 -i "${TMPTXT}"

# List & Sort Delete SnapShots -------
SNAPSHOTS=(`aws ec2 describe-snapshots |jq --arg hoge ${EBS_VOLUME_ID} -c '.Snapshots[] | select(.VolumeId==$hoge) | [ .StartTime, .SnapshotId, .Description ]'| grep "AutoBackup" |sort -t "," -k 1,1| awk -F'[,"]' '{print $5}'`)
SNAPSHOTS_LINE=${#SNAPSHOTS[*]}

CNT=`expr ${SNAPSHOTS_LINE} - ${EBS_GENERATION_COUNT}`

# Exit -------------------------------
if [ ${CNT} -lt 0 ];then
  exit 0
fi

# Delete OLD SnapShot ----------------
for ((i = 0; i < ${CNT}; i++)){
  aws ec2 delete-snapshot --snapshot-id ${SNAPSHOTS[i]} >/dev/null 2>&1

  RESULT=$?
  TMPTXT="${SNAPSHOTS[i]} delete"

  if [ ${RESULT} -ne 0 ];then
    TMPTXT="${TMPTXT} => failed..."
  else
    TMPTXT="${TMPTXT} => Success!!"
  fi

  echo "${TMPTXT}" && logger -t $0 -i "${TMPTXT}"
}

次に、実際の使用方法を説明します。

バックアップ取得対象のEC2にTagを付けます。「Key:backup Value:ON」のものをバックアップ対象とします。「Key:generation Value:[任意の数値]」をつけると、その世代分以降のバックアップは削除されます。未指定時は5世代です。


あとはどこかのEC2で『all_createsnapshot.sh』を実行すれば、タグ付けされたEC2のSnapShotが取得されます。

なおバックアップ削除は『Descriptionに「AutoBackup」という文字列が含まれている物のみ』対象にします。手動取得したSnapshotsが勝手に消去されることは無いのでご安心下さい。

参照元:
【AWS】クラウド時代のバックアップ管理術  ~tagを活用したsnapshotの世代管理~
Amazon EBSのスナップショット(バックアップ)を取得しつつ世代管理も行うスクリプト



2014年3月11日火曜日

AWSアカウントを跨いでAMIをコピーしたい!

AWSでアカウントを跨いでAMIをコピーしたい…ありますよね!

『アカウント間でのAMI共有』は機能提供されているので問題無いのですが、共有されたAMIはコピー出来ません。グレーアウトしてますね。

実はOwnerが自分のAMIの物しかコピー出来ないのです。



AWS Management Consoleで出来ないなら、awscliだ!…とコマンドを発行してみましょう。
# aws ec2 copy-image --source-region ap-northeast-1 --source-image-id ami-******** --name AMI_Copy_Test
{
    "ImageId": "ami-********"
}
コマンドプロンプトでは成功したかのようなステータスが返ってきますが、確認してみるとこんなステータスになってます。


ということで解決方法。
  1. 共有されたAMIを元に、新規インスタンス起動
  2. 起動インスタンスから、Create Image
あんまりスマートじゃない気がしますね…

2014年3月6日木曜日

AWS CloudWatchの値をfluentdに流す方法

AWSのcloudwatchは2週間以上前のデータを見ることが出来ません。要件次第では自力ハウジングする必要があります。先人に感謝しつつ実現しましょう、というお話。

概要は、『fluentdでShellScriptを定期的にkickし、返り値をtsv形式で受け取る』という感じ。fluentdで受け取ったあとは、outputプラグインにお任せしましょう。

まずはShellScript。『aws cloudwatch get-metric-statistics』で取得した値を、tsv形式で吐き出すスクリプトです。今回はSNS通信の送信・失敗数をカウントすることにしました。

get-metric-statisticsは該当する値が無いとnullを返すので、『0』を代入する必要が有ります。これくらいしか悩む所ありません。
#!/bin/bash
export AWS_CONFIG_FILE=[適当なパス]

if [ $# -ne 1 ]; then
  LASTSEC=300
else
  LASTSEC=$1
fi

LASTSEC_CMD="$LASTSEC seconds ago"

NOW=`date +"%Y/%m/%dT%I:%M:%SJST"`
LASTDAY=`date -d "$LASTSEC_CMD" +" %Y/%m/%dT%I:%M:%SJST"`

# DEBUG -----------------------------------
#LASTDAY=`date -d '5 days ago' +"%Y/%m/%dT%I:%M:%SJST"`

# Get CloudWatch DATA ---------------------
SEND=`/usr/bin/aws cloudwatch get-metric-statistics --namespace "AWS/SNS" --metric-name "NumberOfMessagesPublished" --start-time $LASTDAY --end-time $NOW --period $LASTSEC --statistics "Sum" --dimensions Name=Application,Value=********** --output text | awk 'NR==2 {print $2}'| sed -e "s/.0//g"`

FAILED=`/usr/bin/aws cloudwatch get-metric-statistics --namespace "AWS/SNS" --metric-name "NumberOfNotificationsFailed" --start-time $LASTDAY --end-time $NOW --period $LASTSEC --statistics "Sum" --dimensions Name=Application,Value=********** --output text| awk 'NR==2 {print $2}'| sed -e "s/.0//g"`
# null check ------------------------------
if [ -z $SEND ]; then
  SEND="0"
fi
if [ -z $FAILED ]; then
  FAILED="0"
fi

# echo TSV Format -------------------------
echo -e "$SEND\t$FAILED"

このShellScriptをfluentdからkickしてもらいます。ShellScriptから吐き出されたtsvにはkey、tagがないので、ここで定義します。起動間隔もここで定義できます。
<source>
  type exec
  command [shellのパス]
  keys [key名1],[key名2]
  tag [タグ名]
  run_interval 300s
</source>
fluentdに投げ込んだ後は、S3に送るなりmongoDBに喰わせるなりご自由に!