Прямой доступ ODBC к таблицам Delta Lake и Apache Iceberg
Получите прямой доступ к SQL к таблицам Delta Lake и Apache Iceberg из инструментов отчетности на рабочем столе без промежуточного кластера. Драйвер ODBC DeltaForge от DeltaForge запускает нативный SQL-движок на Rust в Windows и устраняет зависимости от JVM. Он предоставляет совместимый с PostgreSQL SQL и прямую поддержку объектного хранения для S3, ADLS и GCS, а также интегрированную безопасность на уровне строк и маскировку столбцов. Целевая аудитория — разработчики BI и аналитики данных, которым нужны запросы без кластера из Power BI, Excel и подобных инструментов.
Что делает драйвер и как он подключается к хранилищу lakehouse
Драйвер считывает таблицы Delta Lake и Apache Iceberg напрямую из объектного хранилища, поэтому настольные приложения могут запрашивать файлы в S3, ADLS, GCS, MinIO или локальных файловых системах без кластера Spark или Databricks. Он предоставляет совместимый с PostgreSQL SQL интерфейс, который позволяет Power BI, Excel, Tableau, DBeaver и любому инструменту, поддерживающему ODBC, выполнять знакомый SQL-запрос к таблицам lakehouse.
Как это влияет на системные ресурсы во время запросов
Драйвер использует нативный движок Rust и избегает Java Runtime Environment, что снижает накладные расходы JVM по сравнению с соединителями на основе Java. Векторизованное выполнение и обработка данных без копирования являются явными элементами дизайна, которые улучшают пропускную способность и использование памяти во время сканирования. Пользователи могут ожидать меньших затрат ресурсов во время выполнения по сравнению с запросами на основе кластера, поскольку обработка происходит на стороне клиента в нативном бинарном файле на Windows x64.
Безопасно ли это использовать и как это обеспечивает контроль доступа
Драйвер включает интегрированные функции безопасности, такие как контроль доступа на основе ролей, безопасность на уровне строк и маскирование столбцов, которые применяются в SQL-движке перед возвратом результатов клиенту. Он работает как локальный ODBC-поставщик и требует соответствующих учетных данных для хранения для прямого чтения, поэтому стандартные практики управления доступом для объектного хранилища остаются контрольной точкой для раскрытия данных.
Требуются ли специальные навыки для развертывания и эксплуатации
Установка осуществляется через стандартные MSI-пакеты и совместима с распространенными менеджерами пакетов Windows, такими как WinGet, Chocolatey и Scoop, что делает развертывание простым для настольных сред. Авторы запросов могут использовать SQL в стиле PostgreSQL; инженеры данных, которые настраивают учетные данные для хранения и параметры RBAC, должны быть знакомы с облачным объектным хранилищем и разрешениями доступа.
Хороший выбор для аналитиков, нуждающихся в доступе к кластерным lakehouse, с одним оговоркой
Драйвер подходит для BI-разработчиков и аналитиков, которые хотят прямые, с низкими накладными расходами запросы из настольных инструментов без управления кластерами Spark. Он снижает сложность выполнения, используя родной движок, и поддерживает основные хранилища данных. Одним из компромиссов является то, что он переносит ответственность за обработку на клиентский хост, поэтому командам следует проверить мощность клиентской машины и пропускную способность сети перед использованием его для высококонкурентных рабочих нагрузок на панелях управления.
