Python で Redshift の JDBC ドライバを使ってみる（JayDeBeApi）
Python から Redshift へ接続する方法で psycopg 以外の方法が無いものか探していた所 JayDeBeApi なるものを見つけました。Amazon 謹製の JDBC Driver を使えるかなというこ […]
View Article[Redshift] CHAR型のパターンマッチング
Redshift では LIKE 以外にも正規表現を用いたパターンマッチング条件を利用することができます。 パターンマッチング条件 - Amazon Redshift 下記のようなテーブルから、「数字だけで構成されるレコ […]
View Article[Redshift] VACUUM の削除しきい値について調べてみた
PostgreSQL 由来の Redshift には VACUUM コマンドがあります。 VACUUM - Amazon Redshift Redshift の VACUUM コマンドには、テーブルに指定されているソート […]
View Article[Talend] エラーとなる可能性のある処理をリトライする
特定の処理でエラー（例外）が発生した際にリトライしたいケースありますよね？数秒ほど何らかの理由でデータベースへアクセスができない状態となった時など、数秒間置いてリトライする処理が組まれていれば全体の処理を止めずに完了する […]
View Article[Talend] tRedshiftRow の使い方
tRedshiftRow とは Talend には「t～Row」というコンポーネントがデータベース毎に用意されています。この「t～Row」系のコンポーネントはデータベースに対して SQL を発行する機能を有しています。S […]
View Article[Talend] ASCII テーブルも Talend で作成する
前回「[Talend] サンプルデータを持ったテーブルを簡単に作成する」という記事を書きましたが、よくよく考えてみると ascii テーブルも Talend で作れば良かったなと思ったので作ってみました。 ASCII テ […]
View Article[Talend] サンプルデータを持ったテーブルを簡単に作成する
前回の記事「[Redshift] ASCII は廃止されたリーダーノード専用関数です」にて、ベンチマークテストの際に使用するサンプルコードを持ったテーブルを Talend Open Studio を使って作成しました。今 […]
View Article[Redshift] ASCII は廃止されたリーダーノード専用関数です
はい。残念ながら Redshift では、ASCII 文字を ASCII コードへ変換する ASCII 関数が廃止されています。 ASCII 関数 - Amazon Redshift とはいえ、データを DWH へロード […]
View Article使ってみる tRedshiftOutputBulk コンポーネント
Redshift Bulk 系コンポーネント 名称 機能 tRedshiftBulkExec COPY コマンドを発行する。 tRedshiftOutputBulk Flow データからファイルを生成し、S3 へアップロ […]
View ArticlePharo + Seaside で簡単 RESTful サービス
とあるプログラムのテスト用に、単純な JSON を返却する RESTful サービスを簡単にサクッと作れないかなと思う中、「Pharo Smalltalk」と「Seaside」を使ってみたらとても簡単だったのでご紹介しま […]
View Article使ってみる tRedshiftBulkExec コンポーネント
Redshift Bulk 系コンポーネント 名称 機能 tRedshiftBulkExec COPY コマンドを発行する。 tRedshiftOutputBulk Flow データからファイルを生成し、S3 へアップロ […]
View Article[Talend] 繰り返し処理中のエラーでも処理を継続するには
繰り返し処理中にエラーが発生した場合であっても最後まで処理を継続させたい、といった事は多々あるものと思います。 しかし、普通にジョブを作成しただけでは意図した動作をしてくれません。 通常の繰り返しジョブ tLoop コン […]
View Article[Talend] Flow, Iterate, Trigger についてのまとめ
Talend Studio でジョブを作成する際に避けて通れないのがコンポーネントとコンポーネントの紐付けです。この紐付けはコンテキストメニュー上で七種類に分別されています。 Row メイン 反復 トリガ サブジョブがO […]
View Article[Talend] Logger のルーチン化とログローテーション
前回は Talend ジョブで Log4j によるロギングを行う方法を紹介しました。 今回は、ジョブの中で使いやすいよう Logger をルーチン化するとともにログローテーションが行われるようにしてみます。 Logger […]
View Article[Talend] Log4j によるロギング
バッチ処理中のエラーログ出力は、後で原因を特定するために必要不可欠かと思います。 Talend ジョブの標準出力をファイルへリダイレクトする方法もありますが、今回は Log4J でのログ出力を考えてみました。 Logge […]
View ArticleAWS SDK for Smalltalk を使ってみました ～ S3 Upload ～
私は Smalltalk というプログラミング言語が好きなのですが、有志の方が AWS を操作するために AWS SDK for Smalltalk を作成されていたので使用してみました。 また、今回は Mac 標準ツー […]
View Article[Talend] 実行時にコンテクストパラメータを変更する方法
処理のフローは同じだけど指定する値が個々で異なるケースというものがあります。 こんな時は、実行時のパラメータとしてその値を指定してあげることで作成するジョブはひとつで済ませることができます。 今回は以下のようなジョブを用 […]
View Article[Pentaho] S3 File Output ～Talend の tS3Put との違い～
最近 Data Integration ツールの Pentaho に触れ始めたのですが、その中で「Amazon S3 へファイルをアップロードする」ことの実現に戸惑ったのでここに記します。 Talend "tS3Put" […]
View ArticleThymeleaf + Spring で i18n ～３～
前回でセッションによって言語情報が保持されるようになりましたが、今回はそれをクッキーで管理するようにしてみました。 thymeleaf-i18n デフォルトでは日本語で表示される。 リクエストパラメータlangにjaが指 […]
View Article
