バッチ処理中のエラーログ出力は、後で原因を特定するために必要不可欠かと思います。 Talend ジョブの標準出力をファイルへリダイレクトする方法もありますが、今回は Log4J でのログ出力を考えてみました。 Logge […]
↧
[Talend] Log4j によるロギング
↧
[Talend] Logger のルーチン化とログローテーション
前回は Talend ジョブで Log4j によるロギングを行う方法を紹介しました。 今回は、ジョブの中で使いやすいよう Logger をルーチン化するとともにログローテーションが行われるようにしてみます。 Logger […]
↧
↧
[Talend] Flow, Iterate, Trigger についてのまとめ
Talend Studio でジョブを作成する際に避けて通れないのがコンポーネントとコンポーネントの紐付けです。この紐付けはコンテキストメニュー上で七種類に分別されています。 Row メイン 反復 トリガ サブジョブがO […]
↧
[Talend] 繰り返し処理中のエラーでも処理を継続するには
繰り返し処理中にエラーが発生した場合であっても最後まで処理を継続させたい、といった事は多々あるものと思います。 しかし、普通にジョブを作成しただけでは意図した動作をしてくれません。 通常の繰り返しジョブ tLoop コン […]
↧
使ってみる tRedshiftBulkExec コンポーネント
Redshift Bulk 系コンポーネント 名称 機能 tRedshiftBulkExec COPY コマンドを発行する。 tRedshiftOutputBulk Flow データからファイルを生成し、S3 へアップロ […]
↧
↧
Pharo + Seaside で簡単 RESTful サービス
とあるプログラムのテスト用に、単純な JSON を返却する RESTful サービスを簡単にサクッと作れないかなと思う中、「Pharo Smalltalk」と「Seaside」を使ってみたらとても簡単だったのでご紹介しま […]
↧
使ってみる tRedshiftOutputBulk コンポーネント
Redshift Bulk 系コンポーネント 名称 機能 tRedshiftBulkExec COPY コマンドを発行する。 tRedshiftOutputBulk Flow データからファイルを生成し、S3 へアップロ […]
↧
[Redshift] ASCII は廃止されたリーダーノード専用関数です
はい。残念ながら Redshift では、ASCII 文字を ASCII コードへ変換する ASCII 関数が廃止されています。 ASCII 関数 - Amazon Redshift とはいえ、データを DWH へロード […]
↧
[Talend] サンプルデータを持ったテーブルを簡単に作成する
前回の記事「[Redshift] ASCII は廃止されたリーダーノード専用関数です」にて、ベンチマークテストの際に使用するサンプルコードを持ったテーブルを Talend Open Studio を使って作成しました。今 […]
↧
↧
[Talend] ASCII テーブルも Talend で作成する
前回「[Talend] サンプルデータを持ったテーブルを簡単に作成する」という記事を書きましたが、よくよく考えてみると ascii テーブルも Talend で作れば良かったなと思ったので作ってみました。 ASCII テ […]
↧
[Talend] tRedshiftRow の使い方
tRedshiftRow とは Talend には「t～Row」というコンポーネントがデータベース毎に用意されています。この「t～Row」系のコンポーネントはデータベースに対して SQL を発行する機能を有しています。S […]
↧
[Talend] エラーとなる可能性のある処理をリトライする
特定の処理でエラー（例外）が発生した際にリトライしたいケースありますよね？数秒ほど何らかの理由でデータベースへアクセスができない状態となった時など、数秒間置いてリトライする処理が組まれていれば全体の処理を止めずに完了する […]
↧
[Redshift] VACUUM の削除しきい値について調べてみた
PostgreSQL 由来の Redshift には VACUUM コマンドがあります。 VACUUM - Amazon Redshift Redshift の VACUUM コマンドには、テーブルに指定されているソート […]
↧
↧
[Redshift] CHAR型のパターンマッチング
Redshift では LIKE 以外にも正規表現を用いたパターンマッチング条件を利用することができます。 パターンマッチング条件 - Amazon Redshift 下記のようなテーブルから、「数字だけで構成されるレコ […]
↧
Python で Redshift の JDBC ドライバを使ってみる（JayDeBeApi）
Python から Redshift へ接続する方法で psycopg 以外の方法が無いものか探していた所 JayDeBeApi なるものを見つけました。Amazon 謹製の JDBC Driver を使えるかなというこ […]
↧
[HTML5] Drag & Drop API おさらい
こんにちは。クラスメソッドの稲毛です。 2014 年の正式勧告へ向けて策定が進められている HTML5 ですが、既に Web 開発では定番となっています。今回は、HTML5 で追加された API の内のひとつである Dr […]
↧
respond_to について調べてみた
こんにちは。クラスメソッドの稲毛です。 respond_to は、Ruby on Rails のアクションメソッド内でリクエストフォーマット（html, json, etc...）に応じた処理の記述で見かけます。 どのよ […]
↧
↧
rbenv を利用した Ruby 環境の構築
こんにちは、クラスメソッドの稲毛です。 複数バージョンの Ruby を切り替えるだけでなく、ローカルディレクトリ毎に Ruby のバージョンを指定できる「 rbenv 」がとても便利だったので、インストール方法などを記し […]
↧
Polymer.dart でも Material Design
Material design with "Polymer.dart" 先日、弊社の諏訪から投稿のあった「 Material Design 」ですが、Dart でも core_elements, paper_elemen […]
↧
[Talend] センシティブな情報を隠蔽する
センシティブな情報の隠蔽 Talend を用いたデータ統合の際の要件として、「個人情報のようなセンシティブなデータを隠蔽する」というものがあったので、「tFilterColumns」コンポーネントと「tJavaRow」コ […]
↧