Стриминг событий в ваш собственный брокер
Публикуйте записи рабочих процессов в Pub/Sub, Kafka, SNS, SQS или AMQP — ваши топики, ваша инфраструктура, семантика exactly-once.
Для команд, которым нужны события, а не выгрузки: действие очереди сообщений публикует каждую запись рабочего процесса в брокер, которым владеете вы — Google Pub/Sub, Kafka, AWS SNS, SQS или любой AMQP-брокер. Аутентификация по-взрослому: для Pub/Sub либо выдайте выделенному сервисному аккаунту-паблишеру с минимальными привилегиями доступ к вашему топику (секрет не хранится), либо предоставьте ключ с ограниченной областью действия, зашифрованный при хранении. Доставка обёрнута идемпотентностью, поддерживает ключи упорядочивания на запись, а перед боевым использованием есть проверка связности.
Триггеры workflow
Входящее: используйте вебхуки или расписания
Триггера потребления из брокера нет — входящие пути это HTTP-вебхуки, чтение с опросом и горячие папки. Эта страница о том, как надёжно отдавать события НАРУЖУ.
Действия workflow
Публикация в Pub/Sub, Kafka, SNS, SQS, AMQP
Одно действие, пять адаптеров брокеров — выберите подключение, и записи потекут сообщениями.
Упорядочивание и идемпотентность
Ключи упорядочивания на запись там, где их поддерживает брокер; идемпотентность на уровне диспетчеризации означает, что повторные доставки воспроизводят закешированный результат, а не публикуют дважды.
Проверка связности
Эндпоинт тестовой доставки проверяет подключение до боевого трафика.
Как движутся данные
Только исходящее, по замыслу — надёжная альтернатива вебхук-колбэкам. Ответы на опросы, обогащённые записи и результаты рабочих процессов попадают в ваши топики; остальное делают ваши консьюмеры.
Подключение: Подключения к брокерам создаются один раз, с целевым топиком, фиксируемым при создании. Pub/Sub поддерживает IAM-грант (секрет не хранится) или зашифрованный сервисный ключ с ограниченной областью действия; остальные брокеры используют свои нативные учётные данные.
Практический пример: Ответы в вашу платформу данных — событиями
Создайте подключение Pub/Sub: выдайте сервисному аккаунту-паблишеру роль roles/pubsub.publisher на вашем топике — без обмена ключами.
Триггер: каждый ответ на опрос проходит рабочий процесс обогащения.
Действие: обогащённая запись публикуется в ваш топик с id респондента в качестве ключа упорядочивания.
Ваш конвейер Dataflow/консьюмер забирает её как любой другой источник событий.
Настройка
1.
Создайте подключение к брокеру (IAM-грант или scoped-ключ для Pub/Sub; нативные учётные данные для Kafka/SNS/SQS/AMQP).
2.
Запустите проверку связности.
3.
Добавьте действие очереди сообщений в любой рабочий процесс и выберите подключение.
Частые вопросы
Какие брокеры поддерживаются?
Google Pub/Sub, Kafka, AWS SNS, AWS SQS и AMQP-совместимые брокеры — одно действие, пять адаптеров.
Как аутентифицируется Pub/Sub?
Два режима: выдайте нашему выделенному сервисному аккаунту-паблишеру с минимальными привилегиями роль roles/pubsub.publisher на вашем топике (секрет никогда не хранится) или предоставьте сервисный ключ с ограниченной областью действия, зашифрованный при хранении.
Может ли SurveyAnalytica и потреблять из моего брокера?
Пока нет — входящее направление работает через вебхуки, плановое чтение с опросом и горячие папки. Стриминг — исходящий.