Backend

Aurora DSQL: Scalable, Multi-Region OLTP

Aurora DSQL: Scalable, Multi-Region OLTP

Aurora DSQL is a serverless SQL database designed for cloud-scale transaction processing with multi-region active-active capabilities. Built on a disaggregated architecture, DSQL separates compute, storage, and transaction coordination into independent, horizontally scalable services. Query proce...

Lobsters Lobsters · Cloud · AWS · Backend ·
0
What happens in the milliseconds after you tap pay

What happens in the milliseconds after you tap pay

* A sample Databricks App (FastAPI + React) that scores credit card transactions for fraud in real time using Model Serving route optimization for low-latency inference and Lakebase Postgres for online feature and profile lookups. * Fast inference alone is not enough. The app pairs route-optimiz...

Databricks Blog Databricks Blog · AI · Backend ·
0
Introducing Apache Spark 4.2

Introducing Apache Spark 4.2

* Define trusted context for analytics and AI: Metric views create governed business definitions, while vector retrieval, geospatial types, and richer SQL primitives bring AI-native analytics into Spark. * Reach Spark from more applications: Spark Connect, Arrow-first Python execution, improved...

0
B

Detecting Full Table Scans With SQLite

I’m at RubyConf this week, and it’s great! I recently read that lobste.rs is now running on SQLite. One part from the post caught my attention: I wish we could say in a test, “Fail if you encounter any full table scans”. Which would have caught the perf issues we experienced during the first depl...

Lobsters Lobsters · Backend ·
0
D

TLS Certificate Validation on Linux

We all know the drill. You type https:// into the browser, a padlock shows up, and everyone collectively agrees not to think about what just happened. That works fine right up until the moment some application on your server starts throwing certificate verify failed while curl against the same en...

Lobsters Lobsters · DevOps · Backend ·
0
The Voyage of a Small Environment Variable

The Voyage of a Small Environment Variable

The OpenTelemetry Spring Boot starter gained declarative-configuration support starting in version 2.26.0 — the same YAML schema the Java agent introduced in late 2025, now embedded inside application.yaml. This post traces what one env var, OTEL_SERVICE_NAME=petclinic, does in that new world, an...

OpenTelemetry Blog OpenTelemetry Blog · Backend · DevOps ·
0
wide CSV 여러 개를 EAV로 모아 gold mart 만들기

wide CSV 여러 개를 EAV로 모아 gold mart 만들기

현실의 데이터 소스는 한 가지 모양으로 오지 않는다. 같은 의미의 값도 어떤 파일에서는 `생산수량`, 다른 파일에서는 `units`, 또 다른 파일에서는 `made`로 올 수 있다. 온도도 어떤 곳은 섭씨, 어떤 곳은 화씨일 수 있다. 이걸 매번 pipeline code에 `if source == ...`로 박기 시작하면

Dev.to Dev.to · Backend · General Discussion ·
0
schema drift를 fail이 아니라 warn으로 둔 이유

schema drift를 fail이 아니라 warn으로 둔 이유

데이터 파이프라인에서 source schema가 바뀌는 순간은 애매하다. 무조건 무시하면 운영자는 입력 구조가 바뀐 사실을 모른다. 반대로 모든 schema 변화를 실패로 처리하면, 정상적인 컬럼 추가까지 daily run을 막아버린다. `manufacturing-data-platform-mini`에서는 이 문제를 작게

Dev.to Dev.to · Backend · DevOps ·
0
source_hash로 같은 입력 재처리를 안전하게 skip하기

source_hash로 같은 입력 재처리를 안전하게 skip하기

작은 데이터 파이프라인도 한 번만 실행된다고 가정하면 금방 거짓말이 된다. 실제로는 같은 파일을 다시 실행할 수 있다. 실패한 run을 재시도할 수도 있고, 과거 날짜를 backfill할 수도 있고, 운영자가 실수로 같은 입력을 다시 넣을 수도 있다. 이때 결과가 중복되면 gold metric은 더 이상 믿을 수 없다.

Dev.to Dev.to · Backend · DevOps ·
0
Loading more…