Рубрика «clickhouse»
Арбитраж криптовалют — или переливаем из пустого в порожнее
2025-05-20 в 10:15, admin, рубрики: C#, clickhouse, Scanner, биржевая торговля, блокчейн, криптоарбитраж, криптовалюта, сканер
Погружение в ClickHouse: делаем первые и успешные шаги
2025-04-15 в 10:16, admin, рубрики: BigData, clickhouse, базы данныхПривет! Меня зовут Андрей Дорожкин, и я руковожу командой администрации баз данных в Hybrid. В этом материале я поделюсь опытом работы с ClickHouse — колоночной БД, разработанной специально для аналитических запросов, которая позволяет получать результаты в разы быстрее традиционных решений. Также я подсвечу, как устроен этот продукт, чем он отличается от реляционных баз данных, и в каких сценариях его использование может дать бизнесу реальное преимущество.
Sandbox DB: универсальная песочница для погружения в Big Data, аналитику и визуализацию
2025-03-31 в 10:52, admin, рубрики: clickhouse, postgres, python, spark, superset, анализ данных, базы данных
Приветствую всех читателей! Сегодня я хочу рассказать вам о своем мини‑проекте под названием «Песочница Sandbox DB».
Если вам лень читать статью, вот ссылка на проект: Sandbox DB на GitFlic.
Я работаю DWH‑разработчиком уже 6 лет, и все эти годы мне приходится постоянно учиться и осваивать новые инструменты.
Telescope — web-based log viewer UI
2025-03-14 в 5:15, admin, рубрики: clickhouse, django, log-viewer, logs, telescope, vuejs, webВсем привет
Хочу поделиться с сообществом своим проектом.
Telescope - это open-source web-приложение для удобной работы с логами, хранящимися в ClickHouse.
Зачем и почему?
Потому что мне не нравятся существующие решения для работы с логами. Часть из них заставляет использовать определённый формат логов и скорее является платформой для хранения и обработки логов (и не только), нежели просто просмотрщиком (например, Читать полностью »
Мы ускорили JOIN в ClickHouse… в 100 раз
2024-12-20 в 15:09, admin, рубрики: clickhouse, join, базы данныхНедавно мы представили два пул-реквеста в ClickHouse, которые значительно повышают производительность JOIN'ов в распространенных сценариях.
Недавно мы представили два новых пул-реквеста в ClickHouse, которые будут доступны в ClickHouse 24.4. Эти изменения повышают производительность JOIN'ов во многих производственных сценариях, в некоторых случаях увеличивая скорость выполнения запросов на несколько порядков.
Пул-реквест №1: Проталкивание предикатов JOIN с применением классов эквивалентности
Как небольшой команде переехать на ClickHouse: на какие грабли мы наступили и о каких фишках не знали
2024-08-26 в 5:57, admin, рубрики: clickhouse, data engineering, open source, sql, базы данныхПривет!
Меня зовут Петр. Я работаю инженером по данным в Okko и обожаю ClickHouse.
Примерно в середине прошлого года мы начали увлекательный процесс переезда хранилища с PostgreSQL (плюс частично HDFS) на ClickHouse. Причин для переезда было несколько, но одной из главных была низкая производительность — среднее время аналитического запроса составляло около минуты. Понятно, что запросы бывают не оптимальные. Но сейчас, после переезда, среднее время запроса в аналитическом кластере составляет около 2 с. И это не предел.
TimescaleDB против всех: как база данных справляется с рядом сложных задач
2023-08-22 в 10:47, admin, рубрики: clickhouse, postgresql, questdb, timescaledb, Администрирование баз данных, базы данных
В фильме «Отряд самоубийц: Миссия навылет», когда персонажи Идриса Эльбы (Бладспот) и Джона Сины (Миротворец) знакомятся при участии Аманды Уоллер, звучит следующая фраза:
– Ты сказала, что у всех в отряде уникальные навыки, а он — это тот же я.
Казалось бы, при чем здесь базы данных? На самом деле, отношения между PostgreSQL и TimescaleDB напоминают эту пару героев. PostgreSQL — одна из самых популярных СУБД в мире. Вокруг решения давно существует комьюнити, а за годы в коммерческой разработке набралось достаточно документации. TimescaleDB, будучи расширением PostgreSQL, умеет многое из ее арсенала, но применяется более точечно. В основном в проектах, где нужно работать с временными рядами или собирать данные с IoT-устройств.
В этом материале мы рассмотрим особенности работы TimescaleDB, а также покажем, как ее использует клиент Selectel — сервис DwarfByte.
Читать полностью »
ClickHouse: полезные лайфхаки
2023-06-25 в 15:57, admin, рубрики: analytics, big data, BigData, clickhouse, data engineering, open source, opensourse, sqlЯ начала пользоваться ClickHouse до того, как это стало мэйнстримом: первый раз я столкнулась c этой базой данных лет 8 назад. C тех пор я уверена, что это лучшая DB для аналитики. Большинство аналитиков, которых я знаю, в восторге от ClickHouse (иногда чтобы проникнуться, требуется немного времени: разобраться и привыкнуть к синтаксису). Однако, я не могу не отметить, что администрирование ClickHouse имеет свои нюансы и подводные камни, но это уже совсем другая история.
В этой статье я расскажу что такое ClickHouse и почему я считаю его идеально подходящим мощным инструментом для аналитики. А также поделюсь tips & tricks из моего опыта. Поехали.
Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouse
2022-11-27 в 10:30, admin, рубрики: big data, bigquery, clickhouse, data engineering, data mining, Excel, Google Cloud Platform, Microsoft SQL Server, olap, olap-кубы, Snowflake, sql, анализ данных, аналитика данных, данныеВсем привет! Меня зовут Сергей Коньков - я работаю архитектором в компании CloudReports. Сегодня я расскажу, как мы создали продукт, который помогает пользователям работать с данными и в какой-то мере соединяет два мира аналитики: Excel и облачные хранилища данных.
Задача
BigQuery и другие аналитические хранилища в сочетании с современными BI инструментами перевернули работу с данными за последние годы. Возможность обрабатывать терабайты информации за секунды, интерактивные дашборды в DataStudio и PowerBI, сделали работу очень комфортной.
[update от 07.04 — часть 3] Оригинальный список малвари, шифровальщиков и прочего в open source проектах
2022-04-08 в 4:36, admin, рубрики: clickhouse, confluence, drawio, github, gitlab, javascript, open source, opensourse, информационная безопасность, СофтЯ - Дмитрий Симонов, основатель Техдирского Клуба, опубликовавшего и поддерживающего оригинальный список проблем, связанных с политизированным Open Source.
UPDATE от 07 апреля 2022 г. Что приехало в этом обновлении из совсем уж треша: