| marp | title | _paginate | paginate | _header | header |
|---|---|---|---|---|---|
true |
BigQuery リリース振り返り 2021-04 |
false |
true |
#bq_sushi #17 BigQueryのデータパイプラインってどうしてる？ |
BigQuery リリース振り返り 2021-04 |
@na0fu3y
Naofumi Yamada @na0fu3y
BQ FUN Slackワークスペースを運営してます
- BigQueryの2020年アップデートを（だいたい）全部振り返るの後から
- Magnitude Simba JDBC and ODBC driversのリリースは省略
- 新Cloud Consoleがプレビュー:tada:
- BigQuery管理リソースグラフ（Reservations利用者向け）がプレビュー:tada:
- 高精度計算のための
BIGNUMERIC型 - JSON文字列の配列を処理する
JSON_(EXTRACT_STRING|QUERY|VALUE)_ARRAY関数 - データセットを作成、設定、削除する
(CREATE|ALTER|DROP) SCHEMAステートメント
- テーブルから列を削除する
ALTER TABLE DROP COLUMNステートメント - 大きなテーブルのランダムなサブセットをクエリする
TABLESAMPLE句
- パーティションの詳細を確認する
INFORMATION_SCHEMA.PARTITIONSビュー - テーブルの再作成に使用できるDDLステートメント
DDLがINFORMATION_SCHEMA.TABLESビューに追加
- アイオワ（us-central1）リージョンが利用可能に:confetti_ball:
- ワルシャワ（europe-central2）リージョンで利用可能に:confetti_ball:
- マテリアライズドビューがGAに:confetti_ball:
- 異なるデータセットとプロジェクト内でも作成可能に
- 追加の集計関数、
CROSS/LEFT JOIN UNNEST、INFORMATION_SCHEMA、顧客管理の暗号鍵もサポート
- DATETIME列のクラスター化テーブルがGAに:confetti_ball:
- Cloud Storageへのクエリがクエリ結果のキャッシュ対象に:confetti_ball:
- 以下のBigQueryフィールドの最大長が128文字から300文字に増加:confetti_ball:
- テーブルの列名、列のエイリアス名、ユーザー定義の関数名
- Storage Read APIのネットワーク課金が2021年第3四半期の初めから開始
- Parquet形式の読み込み改善
- Enum論理型はSTRING または BYTES に変換されるように:confetti_ball:
- LIST論理型でスキーマ推定できるように:confetti_ball:
- Storage Write APIがプレビューに:tada:
- Parquet形式でのテーブルデータのエクスポートをプレビュー:tada:
- BI Engine SQL インターフェースを使って、他のBIツールと統合可能に
- Cloud Storageからの転送の最小ファイル有効期間1時間の要件が廃止
- Cloud Storageからの定期的な転送の最小間隔が1時間から15分に短縮
- VPC Service Controlsで完全サポート
- Omni、Data QnAのパブリックプレビュー
- Looker、Dataformの統合
- Feature Store