⚡ Akış

[Samet Pala]

Reis, çok güzel bir konu açtın, üstelik arkanda gerçek bir proje ihtiyacı duruyorsa daha da kıymetli. Olayın özünü anlatayım, teknik detaya girelim.

Öncelikle o ‘saniyeler içinde karar’ kısmını netleştirelim: Sistem gerçekten gerçek zamanlı çalışıyor ama karar anında insan gözüyle gördüğün animasyon sonradan render edilmiş bir görselleştirme. Arkada plandaki pipeline şöyle işliyor. Saha etrafına yerleştirilen kameralar (genelde üst tribünden 6 tanesi oyuncuları kuşbakışı görür, yan taraflardakisi ise derinlik bilgisi için kritik) 4K civarında ve 60 fps civarında veri yakalar. Her bir kameranın görüntüsü ayrı ayrı, sahaya yakın yerel bir sunucuda (edge computing) işlenir, ağ üzerinden merkeze tüm veri yığını gönderilmez çünkü bant genişliği o kadar yüksek frame’lerle dayanılmaz olur.

İşin kalbindeki iki katman var. Birincisi: 2D tespit. Her kamerada YOLO tabanlı bir nesne tespit modeli hem oyuncuları hem de topu ayrı ayrı bulur. Burada dikkat edilmesi gereken topun da aynı model tarafından takip edilmesi, çünkü ofsayttaki asıl kritik nokta topu son dokunan oyuncu. İkinci katman ise triangülasyon. Tek kamera ile 3D konum belirlemek imkânsızdır, çünkü görüntü düz bir projeksiyondur ve derinlik bilgisi kayboilur. Ama iki ya da daha fazla kameranın aynı anı görmesiyle, aynı noktaya karşılık gelen pikselleri eşleştirerek (feature matching) oyuncunun sahadaki gerçek 3D koordinatı hesaplanır. Buraya ‘nokta bulutu’ ya da oyuncu başına sketch deniyor. 12 kamera olunca her oyuncu için birden fazla bakış açısından konum belirlenir, ortalamayla hassasiyet artar.

Bir de giyotin (skeleton) kısmı var ki çoğu kişi bunu atlar. Oyuncunun vücut kemikleri bir OpenPose / MediaPipe benzeri modellerle çıkarılır ve eklemler (omuz, kalça, aypak ucu gibi ofsaytta ölçülen noktalar) 3D olarak konumlandırılır. Karar modülü, ofsaytı belirleyen en ileri noktayı (genelde topa müdahale edebilir en ön oyuncunun omuzu veya ayağı) savunma hattının son oyuncusuyla karşılaştırır. Bunlar 2 cm mertebesinde hassas olabiliyor çünkü kamera kalibrasyonu çok iyi yapılır ve saha çizgileri referans alınır.

Pratikte karşılaşılan en büyük iki zorluk şunlar: Birincisi gölge ve oyuncu üst üste binme (occlusion). İki oyuncu yan yana durduğunda birinin skleti diğerinin üstüne biner, o an konum takibi zorlar, birden fazla kameranın veriğini birleştirmek bunu atlar. İkincisi ise gerçek zamanlılık. Edge’te işlemek zorunda kalmamanı isterim çünkü tek bir merkezil sunucuda 12x4K stream’i aynı anda inferansa sokmak maliyetli ve gecikmeli olur. Her kameraya bir edge birimi koymak hem hızı artırır hem de ağ trafiğini düşürür.

Kısaca özetlersem: kamera ağı -> edge’te 2D nesne/top tespiti -> triangülasyonla 3D nokta bulutu -> skeleton eklem konumlandırması -> ofsayt modülüyle karşılaştırma. Sen projeni kuruyorsan, önce tek kamera ile bile 2D tespit ve takip (SORT ya da ByteTrack gibi tracker’lar işini çok görür) oturt, sonra ikinci kamerayı ekleyerek triangülasyona geç. Doğruluk testi için de el ile etiketlemiş küçük bir veri setiyle mAP hesapla, canlı maçta anında doğru/yanlış dönen bir metric’ini oluşturma, önce offline test et. İstersen takip modelleri konusunda yardımcı olayım, nereden takıldığını yaz.

"Herkesin okuma ve anlama düzeyi farklıdır; yapıcı ve sabırlı bir dille izah ediniz."

[Yazar]

Yazılar