データブリックス ジャパン 🇯🇵 の公式アカウント データ活用の最新ニュースを発信中🚀 『DATA+AIの民主化』を実現します！ 🧱#JEDAI→https://xitter.cf/t.co/fvOID1nocu 📕Blog→https://xitter.cf/t.co/HwENydHKzl 🎥Youtube→https://xitter.cf/t.co/wLcg2qB7ny
Joined December 2019
- Tweets3.3K
- Following25
- Followers3K
- Likes9.8K
Databricks Japan🧱 retweeted
記事を書いた。
セマンティックレイヤーを作り、ダッシュボードと AI から参照する構成にした。
zenn.dev/kkk555/articles/dat…
Databricks Japan🧱 retweeted
DatabricksではDSA (Delivery Solutions Architect)という「お客様がDatabricksの導入を決めた後、実際に本番運用され、事業成果が出るまでを技術面からリードする役割」を担うポジションがあります。
現役社員4名が実際にどのように仕事に取り組んでいるか、インタビュー形式で記事を執筆しました。Databricksのテックロールにご興味のある方ぜひご覧ください！
qiita.com/DatabricksJapanTA/…
AIエージェントに、自社の「当たり前」は伝わっていますか？
「同じ指標を聞いたのに、人とAIで答えが違う」
その背景には、業務の定義や前提が共有されていないという課題があります。参照するデータや計算ルールが違えば、もっともらしい回答も、現場の実態とはズレてしまいます。
AIをPoCから本番活用へ進める鍵は、企業固有の「文脈」を整えることが必要です。
🔹メタデータ：データの構造・来歴・所有者
🔹セマンティクス：業務の指標・用語の定義
🔹オントロジー：業務の対象同士の関係
人が定めた正式な定義と、AIが抽出する業務知識をどう組み合わせるか。回答の精度・応答速度の向上と、コスト削減につなげる考え方を、製造業の具体例とともに紹介します。
自社でのAI活用を前に進めたい方は、ぜひご覧ください👇
news.mynavi.jp/techplus/arti…
#AIエージェント #データ活用 #Databricks
Databricks Japan🧱 retweeted
Load billions of rows into Lakebase Postgres without competing with live application workloads.
With LTAP, Spark handles bulk loads on separate compute, keeping the primary focused on serving queries. databricks.com/blog/load-ter…
💡 AIは「どれだけ使ったか」から「どれだけ価値を生んだか」へ。コスト管理の新たな経済学を、Databricksがお届けします。
▶︎databricks.com/jp/blog/ai-co…
📊 評価軸は消費量からROIへ
トークン消費量を追う「tokenmaxxing」ではなく、1ドルあたりのビジネス価値を高める「valuemaxxing」が重要です。チーム・プロジェクト・顧客・機能ごとに支出を紐づけ、投資効果を測ります。
⚙️ 必要な情報とモデルを、必要なときだけ
情報はツール経由でオンデマンド取得し、コンテキストの肥大化を抑えます。タスクの難易度に応じてモデルを選び、高性能モデルへの過剰な依存を減らします。
🛡️ 予算には段階的なガードレールを
チーム別予算や利用上限を設定します。予算の70％消費時点で高コストモデルの利用を絞るなど、使い切る前に対策します。
🔍 AI Gatewayで全体を可視化
すべてのAI通信を一元管理し、監視・コスト配分・予算適用を集約します。処理全体のトレーシングと実験で、無駄の削減と品質維持を検証します。
🚀 「測定できないものは管理できない」。エージェント活用が本格化する前に、管理基盤を整えましょう。
#Databricks #AI #コスト最適化
Databricks Japan🧱 retweeted
ontologyやknowledge graphが構築できるdatabricksの ontobricksではグラフ上で選んだエンティティをダッシュボードで分析できる機能があります。設定に手こずったのでブログにまとめました。
OntobricksのDashboard Mappingを使ってみる - Vポイントマーケティング｜TECH LABの Tech Blog techblog.vpoint.co.jp/entry/… #Databricks
Databricks Japan🧱 retweeted
Now available on Databricks: GPT-6.1 Terra.
On our OfficeQA Pro v2 benchmark, it shows a large quality improvement and sits on the quality-cost pareto frontier.
Use it, or any of 70+ other models, on the data already in your Lakehouse to build governed AI apps and agents.
Unity Gateway governs, monitors, and secures every call from a single control plane.
Try GPT-6.1 Terra ↓
docs.databricks.com/aws/en/r…
🤖 AIエージェントが作るデータパイプライン、「動けばOK」で終わっていませんか？
Spark宣言型パイプライン（SDP）が本番運用に向く理由を、528本のベンチマークからご紹介します。
▶︎databricks.com/jp/blog/built…
📊 完了率はほぼ同等、違いは「失敗の見つけ方」です
手続き型PySparkは255/264件、宣言型SDPは258/264件が完了しました。注目すべきは、エラー検知のタイミングと保守性です。
🛡️ 実行前に構造的エラーを検知します
SDPは「何を作るか」を記述し、Sparkがカラム参照やテーブル依存関係を検証します。264件中55件を実行前に停止し、検証時のクラスター時間は手続き型の約34分の1でした。
📝 コードが短く、レビューしやすくなります
コード行数の中央値は131行から64行へ約51％削減しました。将来スケールしにくい、メモリ上での1行ずつの処理も19件から0件になりました。
🔍 テストは引き続き必要です
正常終了しても答えが誤る「サイレントバグ」は残ります。LLM費用は増えるものの、実行時の無駄を抑えたい本番規模でこそ、宣言型が有力な選択肢です。
#Databricks #ApacheSpark #AIエージェント
Databricks Japan🧱 retweeted
Icebergだからオープン！？
違います！
真にオープンになるためのカタログについての解説とDatabricksがUnity Catalogでそれに対してどのような取り組みをしているのかのBlogとなります！
🔓「オープンフォーマット対応」だけで、本当にオープンと言えますか？
真にオープンなカタログを見極める3つの条件と、Unity Catalogの取り組みをご紹介します。
▶︎databricks.com/jp/blog/what-…
✅ データは「お客様のもの」
・テーブルはプロバイダー所有ではなく、お客様自身のクラウドストレージに置くことが重要です。Unity Catalogでは、マネージドテーブルの99％がお客様所有のストレージ上にあります。
⚙️ 自分のストレージでも機能はフル活用
・「マネージド」は所有ではなく、保守を担うという意味です。自動最適化や不要ファイルの削除、削除したテーブルの最大30日間の復元などを利用できます。
・Zeptoでは、年間100万ドル以上のストレージコスト削減を実現しています。
🔄 コピーせずにカタログを移行
・DatabricksはApache Iceberg RESTカタログ仕様にUNREGISTERを寄贈しました。REGISTERとの組み合わせで、データをコピー・移動せずにテーブルの登録先を変更できます。
・現在はプライベートプレビューです。ご希望の方は担当アカウントチームへご相談ください。
#Databricks #UnityCatalog #レイクハウス
Databricks Japan🧱 retweeted
IDOM、「Gulliver AX宣言」を発表 AgentforceとDatabricksを全面採用 enterprisezine.jp/news/detai…
Databricks Japan🧱 retweeted
MIXIさんの事例がでております！
全社のデータ・AI基盤として「Databricks Data+AI プラットフォーム」を採用！
主な目的は、意思決定から価値提供までのリードタイムの短縮と、人とAIエージェントが連携して事業価値を生み出す環境の構築のためです！
これまでは、データの部署間分散や、専門部門への抽出依頼による待ち時間の発生、AI活用のためのガバナンス強化などが課題となっており、Databricks導入により、データの統合と安全な権限管理を実現します！
全従業員が自然言語で自律的にデータ分析を行えるようになり、統制されたAIエージェントの運用と併せることで、意思決定の迅速化とデータドリブンなAI経営を推進していくとのことです！
databricks.com/jp/company/ne…
🔓「オープンフォーマット対応」だけで、本当にオープンと言えますか？
真にオープンなカタログを見極める3つの条件と、Unity Catalogの取り組みをご紹介します。
▶︎databricks.com/jp/blog/what-…
✅ データは「お客様のもの」
・テーブルはプロバイダー所有ではなく、お客様自身のクラウドストレージに置くことが重要です。Unity Catalogでは、マネージドテーブルの99％がお客様所有のストレージ上にあります。
⚙️ 自分のストレージでも機能はフル活用
・「マネージド」は所有ではなく、保守を担うという意味です。自動最適化や不要ファイルの削除、削除したテーブルの最大30日間の復元などを利用できます。
・Zeptoでは、年間100万ドル以上のストレージコスト削減を実現しています。
🔄 コピーせずにカタログを移行
・DatabricksはApache Iceberg RESTカタログ仕様にUNREGISTERを寄贈しました。REGISTERとの組み合わせで、データをコピー・移動せずにテーブルの登録先を変更できます。
・現在はプライベートプレビューです。ご希望の方は担当アカウントチームへご相談ください。
#Databricks #UnityCatalog #レイクハウス
Databricks Japan🧱 retweeted
AI is getting more autonomous, and governance has to keep up. Teams need control over what AI can access and do, a handle on rising AI costs and the freedom to choose the best models, agents and tools.
The Big Book of AI Governance shows how leading organizations manage all three at enterprise scale without slowing innovation.
Download the eBook →
databricks.com/resources/ebo…
🧠 AIエージェントが「覚えて、学び、次はもっと賢く動く」。
Databricksが発表した本番環境向け永続メモリ設計「MemCurrent」をご紹介します！
▶︎databricks.com/jp/blog/memcu…
📚 記憶は「履歴」と「学び」の2層です
会話履歴を残す「エピソードメモリ」と、知識や手順を構造化して蓄える「派生メモリ」を組み合わせます。学びを活用しながら、必要な詳細も振り返れます。
🔄 記憶の使い方は3通りです
自動で読み書きするプラグイン、エージェントが呼び出すツール、裏側で記憶を整理・統合する「ドリーミング」を使い分けます。Agent Bricks MemoryやGenieの基盤として稼働しています。
📊 精度と効率を両立します
公開ベンチマークでは、入力トークン数を約1/12に抑えながらフルコンテキストと同等の精度を達成しました。社内評価では、メモリなし比でパス率が22.3%→68.4%に向上し、高速化・低コスト化も実現しました。
⚡ 経験を次の行動に生かします
約6分・11回のツール呼び出しを要した調査手順を記憶し、類似タスクを41秒・2回で完了した事例もあります。
#Databricks #AIエージェント
Databricks Japan🧱 retweeted
AI Runtime is now generally available, bringing serverless, on-demand GPUs directly into Databricks to power the next generation of AI development.
As AI teams scale model training and agent-driven experimentation, they need GPU infrastructure that can keep pace. AI Runtime delivers seconds-level launch latency, reliable multinode training, and Unity Catalog governance on every workload.
Hundreds of customers, including Robinhood, PicPay, Flo Health and FactSet already use it to ship deep learning models to production.
Accelerate AI innovation, from experimentation to production → databricks.com/blog/ai-runti…
Databricks Japan🧱 retweeted
書いた。
Databricks でデータ分析基盤を作成してみた。
dbt も使えるし、開発体験が非常に良かった。
無料なのに、かなり便利なので他のデータも全て Databricks に集約していこうかと考えている。
zenn.dev/kkk555/articles/dat…
🚀 本番で起きたバグを、その実データで安全に検証できたら？
HamletはDatabricks Lakebase Postgresで、開発とテストの進め方を変えています。
▶︎databricks.com/jp/blog/how-h…
🔎 どんなサービス？
・全米7,200以上の自治体の会議動画・議事録を検索可能にする「シビックインテリジェンスプラットフォーム」です。AIの回答を動画のタイムスタンプに紐付け、一次情報まで確認できます。
🌿 PRごとに専用の検証環境
・プルリクエストごとに本番データの専用ブランチを自動作成し、プレビュー環境へ接続します。
・本番から分離されているため、原因となった実データで修正を検証でき、書き込みテストも本番に影響しません。
⏱️ データ準備の手間を削減
・従来はPRごとに15〜30分かかっていたデータ準備を自動化し、エンジニアが検証に集中できる環境を実現しています。
🤖 AIエージェントも安全に活用
・ClaudeやCodexにブランチ権限を付与し、データパイプラインの実行と一次チェックを自動化しています。最終マージは人間が承認します。
#Databricks #Lakebase #生成AI
Databricks Japan🧱 retweeted
Databricks、DBのブランチ分岐できるのは良いな。
たしかに、コーディングエージェントを並行で動かすと、コードは Git の worktree で分けられても、DB は取り合いになる。
しかもDBのサイズに関係なく、1秒以内でDB全体をブランチにできるのか。
databricks.com/blog/lakebase…
Databricks Japan🧱 retweeted
DatabricksのGenieが分析アシスタントから「AI Coworker」へ大きく変化。対話で依頼した定型業務をそのままエージェント化できる流れと、その精度を支えるGenie Ontologyの位置づけが分かる。オントロジーが製品の裏側の部品として組み込まれていく流れが注目。
zenn.dev/nttdata_tech/articl…
