アクセスログから不正アクセスの兆候を見つける7つの集計(nginx/Apache対応・コピペOK)
「うちのサイト、攻撃されていませんか?」と聞かれたとき、答えはたいていサーバのアクセスログの中にあります。ただ生ログを tail で眺めても、1 日数万行の中から異常だけを拾うことはできません。 この記事は、サーバに SSH で入れる Web 担当者・サイト運営者・制作会社...
データ基盤、分析、データベース
「MySQL」と「PostgreSQL」の安定運用に必要な「監視」の基本を理解する
はじめに この連載では、オープンソースのリレーショナル・データベース(RDB)の「MySQL」と「PostgreSQL」を使いこなすヒントを、両製品の共通点と違いを確認しながら解説していきます。 現在、それぞれの製品をベースとしたクラウド・データベースは複数存在しています。この連載では製品の比較を多く行いますが、製品機能や仕様の優劣についてを論ずる目的のものではないことはあらかじめご了承ください。 第8回の今回は、MySQLとPostgreSQLを安定して運用するための「監視」について解説します。データベースの監視では、プロセスが動いているかを確認するだけではなく、CPUやメモリ、ディスクI/
分布の「山」が割れるとき。混在するクラスタを解き明かす「混合分布」のモデリング
データサイエンスという分野は、データ収集や可視化などが身近になったことで、より重要になってきています。システムを使ってデータ分析する際、利用者は最終的な結果のみを求めますが、私たちエンジニアはその途中経過についても正しく評価する必要があります。そのためには、中学や高校で学んだ数学の知識が欠かせません。そこで本連載は、高校までに学ぶ基本的な数学知識を使って、データ分析やデータ表現の基礎的な考え方を紹介します。また、既に学んだ数学的基礎からデータの特徴を見つけるためにデータ表現する方法について紹介したいと思います。
「ezpipe」でSalesforceからSnowflakeに連携する
ezpipeを使ってSalesforceからSnowflakeへデータを連携する方法を紹介します。ノーコードで接続元・接続先・パイプラインの3つを設定するだけで、SQLやスクリプト不要で定期的なデータ連携が実現できます。
ETL 基盤を Embulk から dlt + dbt に乗り換えた 2 つの理由
この記事はコンシューマーチームブログリレー 4日目の記事です。 Embulk 0.9.25 で動かしていた担当プロジェクトの ETL を、dlt + dbt と Step Functions に全面移行しました。証明書エラーと BigQuery のレガシー API 利用で観念した話です。 こんにちは。エムスリーのコンシューマーチームエンジニアの園田です。 コンシューマーチームで大幅なメンテナンスなく元気に動いていたEmbulkですが、今年の夏に全部やめました。 なぜやめたのか、なぜ dlt + dbt なのか、やってみてどこでハマったのか、という順で書いています。 新しい技術の話はほとんどなく
「LibreOffice 26.2.6」リリース ─ 36件の不具合を修正
「LibreOffice 26.2.6」リリース ─ 36件の不具合を修正 Writer、Calc、Impressの文書処理やmacOSでのクラッシュなどを改善 kawahara 2026年9月7日 シェア ポスト はてブ 優先するニュース提供元に追加 The Document Foundation(TDF) は9月4日(現地時間)、オープンソースのオフィススイート「LibreOffice 26.2.6」をリリースした。 LibreOfficeは、ワープロのWriter、表計算のCalc、プレゼンテーション作成のImpress、ベクターグラフィックスのDraw、データベースのBase、数式編集
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2026年9月号
2026年8月のAWSデータ分析関連アップデートをお届けします。Apache Iceberg v3とAmazon S3 Tablesを軸に、各サービスがマネージドな連携でパイプラインの自前実装を減らす方向に揃ってきた1か月。AWS Glue 6.0の30%価格削減、Kinesis Data Streamsのストリーミングテーブル、Redshiftのシステムテーブル長期保持など、注目のアップデートをまとめました。
Snowflake App RuntimeがGAになったので、Public Previewからの差分を追いかけてみた（＆簡単に触ってみた）
はじめに こんにちは。データエンジニアの植松聖です。 2026/09/01(火)にSnowflakeのApp Runtime機能がGAとなりました！！！ https://docs.snowflake.com/en/release-notes/2026/other/2026-09-01-snowflake-app-runtime-ga App Runtimeがどういったものなのかについては下記2つの記事をご参照いただくのが良いかと思います！ https://zenn.dev/snowflakejp/articles/9e5b8fa393ccd8 https://zenn.dev/dat...
Aurora MySQL 8.4.8 でサポートされた PQ 鍵交換を用いる TLS 接続を検証してみた
Aurora MySQL 8.4.8 で、耐量子暗号（以下、PQC）によるハイブリッド鍵交換（以下、PQ 鍵交換）がサポートされました。PQ 鍵交換が既定で有効な JDK 27 のクライアントから接続し、TLS ハンドシェイクで X25519MLKEM768 が選ばれるか、サーバー側に追加設定が必要かを確認しました。
三菱UFJグループ会社、DBコストを87％削減――なぜ「Aurora Serverless」ではなく「Aurora DSQL」を選んだ？
三菱UFJフィナンシャル・グループのグループ会社、Japan Digital Designは、ドキュメント検索システムのデータベースに「Amazon Aurora DSQL」を採用した。「Amazon Aurora Serverless」と比較して、データベースのコストを約87％削減できたという。その違いはどこにあるのか。
Aurora MySQL 8.4.8 の新機能「遅延レプリケーション」で DROP TABLE からの復旧を試してみた
Aurora MySQL 8.4.8 のクラスター間に 300 秒の遅延レプリケーションを設定し、ソースで DROP TABLE を実行した場合の復旧を試しました。DROP がレプリカへ適用される前にレプリケーションを停止し、削除前のテーブルを残せることを確認しました。
Amazon Aurora MySQL 8.4.8 が GA したので 8.4.7 からの変更点を確認してみた
2026年9月3日に GA となった Amazon Aurora MySQL 8.4.8 を東京リージョンで起動し、8.4.7 からの主要な変更点を確認しました。レプリケーション系の管理プロシージャ、接続・認証・TLS の既定値、トランザクションタイムアウトの変数を見ています。
Streamlit in Snowflake で PrivateLink 構成時のアカウント固有 URL を試してみた
Snowflake の PrivateLink 構成で提供されるアカウント固有 URL（Per-Account URL）機能を、実際に設定・検証してみました。
代数的エフェクト指向 Flix は、次世代 ORM の夢を見るか
XのORM 論争を見て「Flix ならどんな DB ライブラリを作りたいか」を考え、叩き台を作ったので意見がほしい、という記事です。 1. 背景と、この記事で伝えたいこと ! この記事で扱う sqlfx は、Flix で書いた実験的な DB ライブラリの叩き台です。コネクションプール、マイグレーション、ストリーミング、実 DB への PREPARE 検証はまだ実装していません。「使ってください」ではなく「Flix ならこういう形はどうか」を見てもらい、意見をもらうための記事です。 先に、sqlfx で書いたコードがどう見えるかを示します。SQL を書き、生成された関数を呼び、DB ...
Snowflake Gateway による A/B テスト用トラフィック分割を試してみた
Snowflake の2026年8月アップデートで一般提供されたGateway Monitoring と A/B Testing について、ゲートウェイの作成からトラフィック分割までを実際に試してみましたので、その内容をまとめてみます。
[新機能]Snowflake の Restricted Session Scope が一般提供になったので CoCo 利用時だけ実効権限を狭めてみた
Snowflake の Restricted Session Scope(RSS)が一般提供となりました。実務で想定される 4 つのユースケースで CoCo in Snowsight から検証します。
要求が桁違いに上がるAIエージェント時代。スピード、スケール、コストを満たすデータ基盤とは
これまでのデータベースは「人が使う」想定で設計されてきた。しかしいまはAIエージェントが自らクエリを投げて動く時代。データベースは「AIが使う」ようになり、超高速でデータが読み書きされる場所へと変わりつつある。求められる性能のケタが変わるなかで、データ基盤には何が必要になるか。AIエージェント時代に求められるデータ基盤について、Developers Summit 2026 Summerのセッション「『人が使うDB』から『AIが使うDB』へ。ClickHouseで実現する超高速データ基盤」で、ClickHouseの松本幹氏が解説した。
MySQLの「ST_Within()」「ST_Contains()」関数でジオメトリの包含関係を判定してみよう
はじめに 前回 は「ST_Length()」関数を使って、LineStringの長さを計測する方法を紹介しました。今回は、あるジオメトリが別のジオメトリの中に含まれているかを判定する「ST_Within()」関数と、その逆の視点で判定を行う「ST_Contains()」関数を紹介します。 「この学校はどの市にあるか」「この市内にある駅はどれか」といった、位置関係の判定に欠かせない関数です。 ST_Within()の基本 ST_Within(A, B)は、ジオメトリAがジオメトリBの中に完全に含まれていれば 1(TRUE)を、そうでなければ 0(FALSE)を返す関数です。まずはデカルト座標でシ
Amazon Redshift が Apache Iceberg v3 テーブルをサポートしたので rg.large で試してみた
Amazon Redshift が Apache Iceberg v3 テーブルの読み書きに対応しました。RG インスタンスタイプの rg.large のクラスターから、Glue Data Catalog 経由で v3 テーブルを作成し、デフォルト列値と行リネージの疑似列を SQL だけで試してみました。
YKKが監査工数を50％削減へ 「世界中から監査データをメールで回収、手作業で集計」をどう解消した？
複数拠点からデータを集める場合、拠点数が増えるほど収集や管理の負担も大きくなる。YKKも約50拠点を対象とする監査で、各社からデータを回収して集計する作業に課題を抱えていた。どう解消したのか。
【DB崩壊の罠】「とりあえずN+1問題」を解消しようとして巨大JOINを組み、メモリを食い潰した話
Webアプリの開発で必ず耳にするキー・フレーズ、「N+1問題」。 「ループ内でSQLを叩くのはアンチパターン！JOINで1発のSQLにまとめなさい！」 先輩や解説記事で口酸っぱく言われるこの教えを愚直に守った結果、別の意味で凶悪なシステム障害を起こしてしまった失敗談です...
[新機能]Snowflake提供タグ（Snowflake-provided tags）がパブリックプレビューとなったので試してみた
Snowflakeの新機能「Snowflake-provided tags」が2026年8月31日にPublic Previewとなりました。共通のガバナンス用タグが自動作成され、これまでアカウント毎に設計していたタグの初期コストが削減できます。実際に6種類のタグ付与・許可値カスタマイズ・タグベースマスキングまで試してみたので、その結果をまとめます。
全データ分析者驚愕！20代が多いほど売れる、でも20代は買ってない。って、どゆこと？
はじめに こんにちは、事業会社で働いているデータサイエンティストです。 突然ですが、久しぶりに政治学っぽいシナリオです：誰がどの政党に投票したのか知りたいとします。 政治学では極めて自然な問いです。たとえば、 男性と女性ではどちらが自民党に投票しやすいのか 若年層...
AIエージェントがRedshiftを操作してDWH構築や集計分析など可能に、Amazon RedshiftがAgent Toolkit for AWSと統合
Amazon Web Services（AWS）は、同社がフルマネージドで提供するデータウェアハウスサービス「Amazon Redshift」が、Agent Toolkit for AWSと統合されたことを明らかにしました。 Agent T...
Rust の ORM 選定に新しい選択肢は来るか？ Toasty を使ってみる
Toasty とは Toasty は、Tokio プロジェクトの作者 Carl Lerche 氏が中心となって開発している、Rust の新しい非同期 ORM ライブラリです。2024 年 10 月に発表され、2026 年 4 月に crates.io で正式に公開されました。SQL データベースと NoSQL データベースの両方をサポートすることを特徴としており、執筆時点のバージョン 0.10.0 では、SQLite、Turso、PostgreSQL、MySQL、DynamoDB の 5 つのデータベースに対応しています。後で詳しく見ますが、接続先のデータベースに合わせて実行するクエ...
Snowflake データシェアリングでプロバイダー側のデータ保護ポリシー6種がコンシューマー側でどのように作用するか確認してみた
Snowflakeのダイレクトシェアにおけるデータ保護ポリシー6種の挙動を、プロバイダー・コンシューマー両側から実測検証しました。マスキング・行アクセス・プロジェクションなど各ポリシーがシェア越しでどう機能するのか、そしてポリシー内のコンテキスト関数がどう評価されるのかについて詳しくまとめています。
SharePoint上のExcelファイルをDr.Sumに自動連携する（TROCCO活用例）
はじめに TROCCOの2026年8月のリリースでDr.Sumのコネクタが追加され、転送元 / 転送先として利用できるようになりました。TROCCOは、画面上でデータ転送を設定・スケジュール実行できるクラウドETLサービスです。SaaSやデータベース、データウェアハウスな...
第278回 MySQL 9.7で変わったDATE型の挙動を確認してみる
MySQL 9.7.0のリリースノートを見ていると、DATE型に関する修正がいくつかまとめて入っていることに気付きます。
第133回 連載12年目に突入、オープンソースカンファレンス京都報告、MySQLのステアリング・コミッティにJPMorganChaseとBooking. comが参画、PostgreSQLの多数の脆弱性が修正
この連載はOSSコンソーシアム データベース部会のメンバーがオープンソースデータベースの毎月の出来事をお伝えしています。