B
blog
Misafir
Misafir
ViT yani Vision Transformes aslında doğal dil işleme için tasarlanmış transformer mimarilerini görsel verilere (fotoğraf, video vb.) uygulayan makine öğrenimi modelleridir. Vit hakkında daha detaylı bilgi için aşağıdak videoyu izlemenizi tavsiye ederiz. Bu yazıda Jetson’da gerçek zamanlı çalışacak şekilde optimize edilmiş OWL-ViT NanoOWL’yi NVIDIA TensorRT ile nasıl çalıştırabileceğinizi anlatacağız.
For privacy reasons YouTube needs your permission to be loaded.
I Accept
Neler Gerekli?
- JetPack 5 veya 6 sürümlerini destekleyen, minimum 8GB’lik
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.veyaBu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
- USB Kamera
1- Üzerinde çalışma yapacağız git reposunu, aşağıdaki komut ile Jetson’a indirin.
Copy to Clipboard
git clone
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
2- İndirdiğiniz reponun adresine ulaşın.
Copy to Clipboard
cd jetson-containers
3 – Apt repository önbelleklerini, aşağıdaki komutu kullanarak güncelleyin ve Jetson’a pip3’ü kurun.
Copy to Clipboard
sudo apt update; sudo apt install -y python3-pip
4 – NanoOwl’un kullandığı paketleri ve kütüphanelerin kurulması için aşağıdaki komutu çalıştırın.
Copy to Clipboard
pip3 install -r requirements.txt
5 – Jetson’a takılı olan kameranın bağlantısını aşağıdaki komutu kullanarak test edebilirsiniz. Eğer video* görmüyorsanız kamera bağlantılarını kontrol edin ve Jetson’ı yeniden başlatın.
Copy to Clipboard
ls /dev/video*
6 – İndirdiğiniz repo içerisindeyken (jetson-containers) aşağıdaki komutu çalıştırın. Bu komut gerekli olan docker imajlarını indirip kuracak o yüzden docker pull sorusuna “yes veya y” yazarak ilerleyin.
Copy to Clipboard
cd jetson-containers ./run.sh $(./autotag nanoowl)
7 – Docker imajı indirilip kurulduktan sonra açık olan terminal otomatik olarak imaj içerisinde açılacak.
8 – Örneği çalıştırmadan önce kodların bulunduğu adrese gidin. Aşağıdaki komut ile bu işlemi yapabilirsiniz.
Copy to Clipboard
cd examples/tree_demo
9 – Örnek kodların bulunduğu adrese ulaştıktan sonra aşağıdaki komutu terminalde çalıştırarak tree_demo örneğini başlatın.
Copy to Clipboard
python3 tree_demo.py ../../data/owl_image_encoder_patch32.engine
10 – Running on
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
satırını gördüğünüzde örnek çalışmaya başlamıştır. Eğer Jetson’ın kendisinde işlem yapıyorsanız bu adresi doğrudan browser’a yapıştırarak canlı kamera akışını başlatabilirsiniz. Eğer Jetson’a ssh ile başka bir cihaz üzerinden bağlıysanız da aşağıdaki komutu o cihaz üzerinde browser’a yapıştırarak canlı kamera akışını başlatabilirsiniz.Komuttaki “ip address” kısmına, Jetson’ın ip adresini yazacaksınız.
Copy to Clipboard
http://:7860 Örneğin Jetson'ın ip adresi 192.168.1.131 ise yazmanız gereken adres:
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
11 – Aşağıdaki görsel, bizim yaptığımız testin görseli. Girdiğiniz promptlar, kamera görüntüsüne gerçek zamanlı olarak aktarılıyor.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
Yukarıda anlattığımız projeyi yapabileceğiniz NVIDIA Jetson modellerine, mağazamızdan uygun fiyatlara sahip olabilirsiniz.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.