İş akışını tasarla
Açık görevler, yapılandırılmış araç sözleşmeleri, kalıcı durum ve model kararlarının etrafında deterministik kontrol noktaları.
AI mühendisliği
Harekete geçebilen — ve denetlenebilen — AI sistemleri.
Odağım uygulamalı AI mühendisliği: ajan orkestrasyonu, LLM tabanlı araçlar ve bunların davranışını gözlemlenebilir, kurtarılabilir ve açık yetkiyle sınırlı kılan altyapı.
Yaklaşım
Bir modele prompt yazmaktan fazlası
Sınırları kanıtla
En az yetki, izole çalıştırma, bağımsız inceleme ve hata durumlarının dürüstçe belgelenmesi.
Sonucu ölç
Demo videoları ya da modelin kendi ürettiği başarı iddiaları değil; testler ve tekrarlanabilir değerlendirmeler.
Seçili sistemler
Çalışmalarımın gösterdikleri
Geliştirdiğim üç sistem; her birinin herkese açık kodu ve ayrıntılı bir vaka çalışması var.
Ajan orkestrasyonu ve güvenilirlik
Acthelm
Kalıcı görev durumu, deterministik tetikleyiciler, izole kod değişiklikleri, bağımsız model incelemesi ve açık sürüm onayı olan, ajanlarla çalışan bir işletim sistemi.
Mühendislik kanıtı
- Ajan yaşam döngüsü ve görev orkestrasyonu
- Araç çalıştırma sınırları ve insan onayı
- Çökme sonrası kurtarma ve denetlenebilirlik
Kapsam: Aktif geliştirmede; Stage C tasarımını tamamen gözetimsiz çalışmanın kanıtı olarak görmeyin.
LLM uygulamaları ve ajanlara dönük araçlar
Seerxo
CLI, yerel ve uzak MCP entegrasyonları, bir API ve üretken işlemlerden ayrı tutulan kural tabanlı bir ilan denetimi olan canlı bir ürün.
Mühendislik kanıtı
- MCP ve araç şeması tasarımı
- LLM destekli ürün entegrasyonu
- Deterministik doğrulama ve API sözleşmeleri
Kapsam: Backend herkese açık değil; vaka çalışması doğrulanmış istemci kodu ve belgelenmiş arayüzlerle sınırlıdır.
Destekleyici çalışma · SSH güvenlik mühendisliği
SigSieve
Bir AI projesi değil: hangi anahtarların iletilebileceğini sınırlayan ve bunları güvenilir hedef host anahtarlarına bağlayabilen, Rust ile yazılmış bir SSH agent proxy’si. AI altyapısında uyguladığım güvenlik alışkanlıklarını gösteriyor.
Mühendislik kanıtı
- Tehdit modelleme ve en az yetki
- Protokol düzeyinde güvenlik kontrolleri
- Hata durumlarının test odaklı ele alınması
Kapsam: Deneysel güvenlik yazılımı. Bağımsız denetimden geçmedi; tam koruma iddiası yoktur.
Kod inceleyenler için
Koda nereden başlamalı
3 Kasım 2026’da kontrol edilen teknik referanslar. Uygulamayı sabit kaynak sürümlerinden inceleyebilirsiniz: Acthelm b8b7e77, Seerxo 8c52984 ve SigSieve alpha.4 5ea37b7.
- Deterministik iş tespiti — iş yoksa model çağrısı da yok
app/business_reconciler.py - Golden eval’ler: kanıtsız “bitti” reddedilir
evals/test_supervisor_evals.py - Güvenilmeyen içeriğin kodlanması ve onay eskalasyonu testleri
evals/test_trust_evals.py - Gerçek PostgreSQL üzerinde çökme sonrası kurtarma testleri
tests/test_worker_crash_recovery_postgres.py - Sınırlamaları açıkça belirten MCP araç şemaları
src/mcp/tools.js - stdio MCP sunucusu için uçtan uca test
tests/stdio-mcp.test.js - Tehdit modeli
docs/THREAT_MODEL.md - Bulgu kaydı: her sorun ve düzeltmesi
docs/FINDINGS.md
AI değerlendirme ve güvenilirlik
İş akışına yerleşik doğrulama
Deterministik testler; yapılandırılmış çıktıyı, kanıtsız tamamlama iddialarını, kurtarmayı ve araç sözleşmelerini kapsar. “CI’da”, projenin test iş akışındaki kontrolleri belirtir. Model düzeyindeki performans ayrı bir ölçümdür; tablo, uygulanmış kontrolleri benchmark sonucu raporlanmamış boyutlardan ayırır.
| Boyut | Durum | Kanıt |
|---|---|---|
| Yapılandırılmış çıktı doğrulaması | CI’da | Bozuk ya da başka göreve ait ajan sonuçları reddedilir · evals/test_supervisor_evals.py |
| Asılsız iddialar | CI’da | Kanıtsız “Bitti.” cevabı REVISION_REQUIRED döner · evals/test_supervisor_evals.py |
| Prompt injection | Kısmen | Kodlama ve eskalasyon senaryoları testli; bunlar gerçek modelin injection direncini kanıtlamaz · evals/test_trust_evals.py |
| Güvenlik sınırları | CI’da | CI yetkileri ve kimlik bilgileri için güven sınırı testleri · tests/test_trust_boundary.py |
| Ajan kurtarma | CI’da | Gerçek PostgreSQL üzerinde çökme ve takılı çalıştırma kurtarması · tests/test_worker_crash_recovery_postgres.py |
| Regresyon senaryoları | CI’da | Her biri yakaladığı hatayı adlandıran Stage C golden senaryoları · evals/test_stage_c_runner_evals.py |
| Araç sözleşmeleri (MCP) | CI’da | Seerxo’da stdio MCP sunucusu uçtan uca test ediliyor · tests/stdio-mcp.test.js |
| Görev tamamlama oranı | Raporlanmadı | — |
| Model düzeyinde tool-call doğruluğu | Raporlanmadı | — |
| Görev başına gecikme | Raporlanmadı | — |
| Görev başına maliyet | Raporlanmadı | Yalnızca politika: ücretli API anahtarları reddedilir · agents/cost_policy.yaml |
Değerlendirme yol haritası
Model benchmark’ları için gereken kanıtlar
Yukarıdaki deterministik testler kontrol katmanının davranışını sınar. Bir model benchmark’ı ayrıca aşağıdaki kanıtları gerektirir; bu bir değerlendirme yöntemidir, taahhüt edilmiş ürün yol haritası değildir:
- Sabit girdileri ve supervisor’ın kontrol edebileceği başarı kriterleri olan sürümlü bir görev seti
- Her çalıştırmanın sağlayıcı, model sürümü, transkript, tool call’lar ve sonuçla kaydedilmesi
- Set sürümü başına metrikler: başarı, kısmi başarı, yanlış onaylar, kurtarmalar, gecikme ve kaynak kullanımı
- Deterministik kısmı her değişiklikte, model kısmını isteğe bağlı çalıştırıp ham sonuçları yayımlayan bir CI işi
Bunlar değerlendirme sorularıdır, yayımlanmış benchmark sonuçları değildir. Bir sonucun iddiaya dayanak olabilmesi için tanımlı görevler, yöntem ve ham kanıt gerekir.
Bir ajan işi güvenilir şekilde tamamlayabilir mi?
Sürümlenmiş, tekrarlanabilir bir görev seti oluştur. Başarı, kısmi başarı ve hataları test koşulları ve örneklem büyüklüğüyle raporla.
Çoklu ajan incelemesi ne zaman işe yarar?
Aynı görevlerde tek ajanlı bir temel çizgiyi kodlayıcı + inceleyici iş akışlarıyla karşılaştır. İnceleyici anlaşmazlıklarını ve yanlış onayları kaydet.
Araçlar başarısız olduğunda ne olur?
Zaman aşımları, geçersiz araç çıktısı, eskimiş durum ve yarıda kesilen çalıştırmalar enjekte et. Kurtarmayı ölç ve insan müdahalesinin nerede gerektiğini belirle.
Otonominin maliyeti nedir?
Tamamlanan görev başına gecikmeyi, uygulanabildiğinde token/API kullanımını ve kaynak maliyetini ölç; abonelikleri token başı fiyatlandırmayla karıştırma.
Şu an iddia edilmeyenler: kanıtlanmış bir RAG benchmark’ı, özel eğitilmiş bir temel model, bağımsız denetimden geçmiş ajan güvenliği veya ölçülmüş üretim düzeyinde otonom görev başarısı. Bunlar ayrı kanıt gerektirir.
Açık çalışma ve topluluk
Açıkta geliştir, işi faydalı kıl
Yeniden kullanılabilir kod, teknik dokümantasyon ve şeffaf sınırlamalar işin bir parçası. SigSieve ve Seerxo istemcisinin kaynak kodu açık ve MIT lisanslı; Acthelm’in kaynak kodu açık ama şu an açık kaynak lisansı yok. Bu ayrım önemli.
SigSieveGüvenlik modeli, sınırlar, kurulum ve kaynak kod →SeerxoMCP araçları, CLI dokümantasyonu ve kaynak kod →Teknik araştırmaKanıt ve sınırlamalarıyla mimari incelemeler (İngilizce) →
Güvenlik bulguları herkese açık issue’lar yerine her deponun güvenlik politikası üzerinden bildirilmelidir.
Birlikte çalışmak ister misiniz?
AI Engineer, Applied AI Engineer ve LLM / Agent Engineering pozisyonlarıyla ilgileniyorum. En güçlü kanıtlarım ajan sistemleri, geliştirici araçları ve backend altyapısında.