技術系フィードから毎時取り込んでいる、まだ誰も拾っていない記事です。ジャンルで絞って探せます。ログインすると、気になったものをその場でブックマークできます。
データ基盤、分析、データベース
はじめに Google ADK v2.7.1を使用した、ECデータ分析エージェントの評価機能について詳しく解説する記事になります。 前回はAIエージェントをどう作ったかを解説しました。SQL生成をBigQuery Conversational AnalyticsのData Agentに任せ、アプリ側は「どこまで触らせるか」に集中する、という切り分けです。 コードはリポジトリで公開しており、評価機能はeval/にまとめているので、気になる方は覗いてみてください。 https://zenn.dev/phper8080/articles/618e979dc7469f https://git...
技術部データ基盤チームの @zaimy です。 ペパボでは、クラウドや物理サーバーなど複数のプラットフォームにまたがるコストを社内ダッシュボードで可視化しています。このダッシュボードに供給するコストデータを、FinOps Foundation 1 が策定する共通仕様FOCUSに沿って正規化する層をdbtで構築しました。その結果、ダッシュボード側のSQLは約10分の1（数百行から数十行）に縮小し、新しいコストソースの追加が容易な定型作業になりました。 FOCUSを実際のデータ基盤に適用した事例はまだ少ないようです。この記事では、コスト可視化をFinOpsの共通スキーマで統一したいデータエンジニア
Amazon Kinesis Data Streams では、最大レコードサイズを 10 MiB まで引き上げられます。10 MiB に設定したストリームへ 100 KiB から 10 MiB を超えるサイズまでのダミー JSON を投入し、Amazon Redshift のストリーミングインジェストでどこまで取り込めるか、取り込んだレコードを Redshift の SQL でどう扱えるかを確認しました。
Snowflake の標準機能だけでデータカタログを構築し、ロール別に「存在ごと非表示」できるか検証してみました。Semantic View + Cortex Agent + Row Access Policy の組み合わせで、日本語での問い合わせと柔軟なアクセス制御を同時に実現できます。
DuckDB は軽量なインメモリ SQL エンジンで、追加のサーバー運用なしに対話型のデータ分析を実現します。本記事では、Amazon SageMaker Lakehouse Iceberg REST エンドポイントと AWS Lake Formation のアクセス許可を利用して、AWS CloudShell 上の DuckDB から Amazon S3 Tables に格納された Iceberg テーブルにアクセスし、クエリを実行する手順を紹介します。
AWSは、オープンソースの分析データベースシステム「DuckDB」の開発企業、DuckLabsの買収合意を発表した。DuckDBチームはAWSに合流する。オープンソースプロジェクトとしてのDuckDBは独立非営利組織の下、MITライセンスで提供が継続されるとしている。
はじめに こんにちは、SRE部カート決済SREブロックの伊藤（@_itito_）です。普段はZOZOTOWNのカート決済機能のリプレイス・運用・保守に携わっています。また、データベース（以下DB）領域でのテックリードを務めており、DBREとしてDB周りの運用・保守・構築に関わっています。 ZOZOTOWNでは以前からリプレイスを進めており、SQL Serverを中心としていたDB構成も、マイクロサービス化に伴ってAurora MySQLなどへ分割されてきました。 かつてはビジネスロジックの多くを、SQL Serverのストアドプロシージャ（以下、ストアド）が担っていました。データの近くで処理す
「SQLを書いて事件を解く」。そんな一見すると冗談のような推理ゲーム「Ghost in the SQL Data」が登場する。ここで使うのは、それらしいキーワードを入力するだけの疑似SQLではない。実際のデータベースにクエリを投げ、返ってきた「行」から真相を追うという。
オープンソースとして開発されているOLAPデータベース「DuckDB」の開発を主導しているDuckDB Foundationは、今年の秋にリリース予定の「DuckDB 2.0」にどのような新機能が搭載予定なのかを紹介したブログ「A Prev...
Snowflake Summit 26会場 こんにちは！ぐるなびでデータサイエンティスト（以降DS）として働いている原嶋です。 先日サンフランシスコにて開催された「Snowflake Summit 26（以降Summit）」に参加してきました。 現地で肌で感じたことと、これから私たちが目指すべきデータ基盤や組織のあり方について、現時点での私の考えをつらつらと書いてみたいと思います。
はじめに 前回 は「ST_Union()」関数を使って、POLYGONを合体させる方法を紹介しました。今回は、線の長さを計測する「ST_Length()」関数を紹介します。 ST_Length()は、鉄道路線の総延長を計算したり、道路の長さを比較したりと、様々な場面で活用できます。 ST_Length()の基本 ST_Length()は、LineStringの値を与えると、その長さを返す関数です。まずはデカルト座標系でシンプルな例を見てみましょう。 mysql> SET @g1=ST_GeomFromText('LINESTRING(0 0, 3 4)'); mysql> SELECT ST_
先日、メルカリのCoreDBをMySQLからTiDBへ移行した振り返り という記事で、MySQLからTiDBへの移行完了に関する報告と、大枠の振り返りについてお伝えしました。これから3つの記事にわたって、私たちDBRE（ […]
SQLフォーマッター uroborosql-fmt の言語サーバーとβ版リンターをリリースしました。Neovim / Emacs / Eclipse など各種エディタでのセットアップ方法と、SQLコーディング規約に基づくリンターのルールを紹介します。
こんにちは。バクラク事業部 BizOps部 データグループの@civitaspoです。 この記事では、Snowflake の Row Access Policy を dbt の実行フローの中で適用し続けるために作った dbt package、dbt-snowflake-rap-enforcement を紹介します。 github.com 以前紹介した dbt-authorized-models が dbt モデル間の参照可否を検査する package だった1のに対し、今回は Snowflake の行レベルアクセス制御を dbt モデルの定義どおりに維持するための package です。 はじ
MySQLの「ST_Union()」関数でポリゴンを合体させてみよう itoh 2026年8月7日 MySQLで学ぶGIS入門 シェア ポスト はてブ 優先するニュース提供元に追加 はじめに 前回 は「ST_Area()」関数を使って、POLYGONの面積を計算する方法を紹介しました。今回は、2つのPolygonを1つに合体させる「ST_Union()」関数を紹介します。 複数の市町村をまとめて「地域」として扱ったり、エリアを拡張したりと、様々な場面で活用できる機能です。 ST_Union()の基本 ST_Union()は、2つのジオメトリを与えられると、それらを合体させ、1つのジオメトリを返
概要 メルカリでは、CoreDB と呼ばれる中核データベースを長年オンプレミス上の MySQL で運用してきました。本記事では、2026 年 4 月に完了した MySQL から TiDB への移行を振り返り、長期的なスケ […]
はじめに：なぜKafkaのエンドツーエンド暗号化なのか？LINEメッセンジャーでは、毎日数十億件のメッセージがやり取りされています。この膨大なデータはさまざまなシステムに送信されますが、その中には個人...
こんにちは。学習・コミュニケーションプラットフォーム課でデータエンジニアをしている nekobits です。私が所属している課では主にClassiのデータ基盤の運用・開発を行っており、営業や企画の方からの質問に答える社内AIも開発しています。「Classi活用レポート生成AI」の機能改善においてコーディング用のAIを利用していた際に起きた出来事を時系列で振り返ります。これから自律型コーディングAIを活用しようとしている方や、すでに沼にハマった経験があるエンジニアの方にとって、少しでも参考になれば幸いです。 概要 「Classi活用レポート生成AI」（参考: 「あえてSQLは書かせない」営業現場
こんにちは！ 承認チームでGoエンジニアとしてインターンをしているunagamです。 最近は夏の旅行先として色々な場所を調べるのにハマっています。 今回はあまり馴染みのないSQLのLATERAL句で大幅にAPIを高速化できたので、その学びを共有したいと思います。 概要 APIのボトルネックだったSQLを、LATERAL を使って 94.7ms → 0.236ms（99.75%削減） まで短縮できた。 ただし LATERAL は無条件に速くなるわけではない。外側の行数に比例してコストが増えるという性質があり、条件次第では逆に遅くなる恐れがある。 それでも、リスクを理解した上で適用すれば、LATE
こんにちは。バクラク事業部 BizOps部 データグループの@civitaspoです。2026年7月1日、Snowflake の新機能 Workload identity federation for Snowflake workloads that access external services が GA になりました。一言でいうと「Snowflake 自身が OIDC Providerとなり、Snowflake 内のワークロードが外部サービスに対して、静的キー不要で認証できる」機能です。機能名が長いので、本記事では「Snowflake Outbound WIF」と表記します。 docs.
はじめに こんにちは。タイミーで Platform Engineer をしている小河原（@kgwryk28）です。 現在、タイミーのシステムで利用しているメインのデータベース（Aurora MySQL）のバージョンアップを進めています。前回の記事では、アップグレードに伴う SQL の互換性や性能の検証について共有しました。 この記事では、そのアップグレードと並行して取り組んでいる Aurora MySQL の GTID モード有効化 を行うにあたって直面した課題と、それぞれをどう解決したかを紹介します。 GTID やレプリケーションに詳しくない方にも読んでいただけるよう、必要な前提はその都度補
はじめに こんにちは！ タイミーでPlatform Engineerをしている @MoneyForest です。 自分が所属しているチームでは、週一で「観測会」を実施しています。 サービスの負荷状況が分かるダッシュボードを確認したところ、ある時期から Aurora MySQL の Reader CPU 使用率が大きく上昇していることに気づきました。 原因になりそうな処理は見えてきましたが、関連する機能はすでに利用されていたため、単純にリバートできる状況ではありませんでした。そのため、インスタンスを追加して一時的にしのぎつつ、根本的な改善を進める必要がありました。 この記事では Reader C
はじめに こんにちは、初めまして。今年3月に入社し、タイミーで Platform Engineer をしている小河原(@kgwryk28)です。 現在、タイミーのシステムで利用しているメインのデータベース（Aurora MySQL）のバージョンアップにおける検証を進めています。 データベースのアップグレードで気になるのは、「今まで動いていたSQLが新バージョンでもそのまま動くのか」「アップグレードによって遅くなるクエリはないのか」という点です。 アップグレード後に互換性の問題や性能劣化が本番で発覚すると、影響は計り知れません。そのため、バージョンアップ範囲内の各バージョンの変更内容（chang
こんにちは。Data Ingestion チームでData Engineerをしている @orfeon です。この記事は「Merpay & Mercoin Tech Openness Month 2026」の14 […]
こんにちは、ヤプリでサーバサイドエンジニアをしている熊埜御堂です。 今回は、業務で行ったAPIのパフォーマンス改善について記載します。 TL;DR 何が起きていたか: EXPLAINで event_histories へのクエリが全144パーティションをスキャンしていた なぜ起きていたか: サブパーティションキー（tenant_id）がWHERE句に含まれておらず、MySQLがパーティション剪定できなかった どう直したか: Eloquentの with() に .where('tenant_id', $tenant->id) を追加 効果: スキャンパーティション数 144 → 9（16倍改善
技術部データ基盤チームの @zaimy です。 ペパボの社内データ基盤「Bigfoot」では、 2020年にDigdagから移設して以来 約5年間にわたりCloud Composer（Managed Apache Airflow）をワークフローエンジンとして運用してきましたが、2026年1Qをもって別構成に移行しました。本記事では、Cloud Composerから3つのマネージドサービスへ移行した経緯と、その効果について紹介します。 Cloud Composerで動いていた3つのワークロード なぜ撤退したのか 1. Agentic AI readyになるためにdbtを身軽にしたい 2. コスト
こんにちは、グループ情報部の@mashiikeです。 2026年4月9日に、BigQuery の新機能「BigQuery Graph」が Preview になりました。 cloud.google.com BigQuery Graph は、BigQuery 上のテーブルデータをグラフとしてモデリングし、ISO GQL 標準に準拠した Graph Query Language で分析できる機能です。 ノードとエッジのテーブルさえ用意すれば CREATE PROPERTY GRAPH でグラフが定義でき、GQL で関係性を辿れるようになります。 身近なグラフデータと言えば、dbt のリネージグラフだ
こんにちは！データサイエンス室（以下、DS室）の山本です（@__Y4M4MOTO__）です。 運用中のdbtプロジェクトに対して、dbt管理下にないテーブルを一括削除する仕組みを構築したので、その内容を共有します。 なぜやったのか？ どうやったのか？ 導入にあたっての工夫 cleanup.sql の修正 エラーの修正 クローンされたテーブルに対応 BigQueryビューの削除に対応 Makefileで開発環境へ実行可能に GitHub Actionsでmainブランチへマージしたときに実行するように 結び なぜやったのか？ 新規にdbtプロジェクトを作成した際に出力先のBigQueryデータセ
こんにちは、エンジニアの砂川です。 皆さんはMySQLのcharsetに何を選択されていますか？ 長年 utf8mb3 を運用してきたcrowdworks.jpですが、ついに utf8mb4 への移行を完了しました。 crowdworks.jpのDBにおけるcharsetをutf8mb4に変更したので、やったことや詰まった点などを共有します。 これからutf8mb4化されようとする方の参考になれば幸いです。
こんにちは。プロダクトデータアナリストの合田（@shohei_trapi）です。 本記事はChatwork 15周年に合わせた「#kubellブログリレー」の記事として執筆しています。今回はSnowflakeのAI機能を活用した、社内のデータ分析基盤づくりについて書いていきます。技術的な話も含め、社内のリアルについても触れていきます。 「社内のデータ活用・民主化を推進したい方」「SnowflakeのAI機能に関心がある方」「データアナリストとして組織への価値提供を模索している方」は是非読んでいただきたいです（もちろんそうでない方も大歓迎です）。
