A/B testi aslında bir kullanıcı testidir. Tasarım ve içerik bakımından hangi iki sürümün daha iyi performans gösterdiğini belirlemek için uygulanan bir testtir.
Bir A/B testinde bir web sayfası ve uygulama ekranının bir orijinal görünümü alınır bir de değiştirilmiş veya yeniden tasarlanmış görünümümü alınır. Rastgele bir şekilde uygulama veya site trafiğinin yarısına orijinal sürümünü yarısına da yeniden tasarlanmış veya değiştirilmiş görünümü hali gösterilir. Her iki deneyimdeki etkiler ölçülür ve, ziyaretçilerin davranışları olumlu veya olumsuz etkisi olup olmadığı incelenir. yapılan test ve inceleme sonucunda hangi varyasyonun daha iyi çalışıp çalışmadığına kanaat getirilir.
Örneğin bu testi dünyanın en büyük arama motoru olan Google, Google+ için kullanmıştır. Kullanıcı sayısını arttırmak isteyen Google+ aşağıda gördüğününüz bu reklamı yayınladı fakat istediği sonucu alamadı. reklamı gören kullanıcıların %69 Google+ uygulamasını terk etti. Daha sonra kullanıcıları daha az rahatsız edecek bir reklamla çıkan Google+ nin kullanıcı sayısı sadece bir günde %17 arttı.
A/B testinde bazen yapacağınız küçük değişikliklerle uygulamanızda ve ya sitenizde hayal edemeyeceğiniz geri bildirimler almanızı sağlayabilir.