Google mampu meningkatkan keuntungan hingga $200 juta dengan melakukan sebuah eksperimen di mana mereka menguji beberapa warna biru pada tulisan iklan di tampilan website nya. Namun demikian, dalam menemukan tampilan website yang memberikan performa terbaik dari jutaan pengunjung tidaklah mudah. Salah satu kriteria bahwa sebuah website memiliki performa yang baik adalah dengan tingginya click through rate yang dimiliki website tersebut. Untuk menangani permasalahan ini, salah satu metode yang dapat digunakan adalah A/B testing. Cara A/B testing bekerja adalah  dengan membagi pengunjung laman website menjadi dua kelompok; treatment group dan control group. Masing-masing kelompok akan disajikan varian laman website yang berbeda. Respons dari pengunjung atas laman website kemudian dicatat dan diuji performa antara varian A dan varian B. Pada tahap pengujian, ada dua metode yang dapat digunakan yaitu frequentist dan Bayesian. Metode frequentist membuat prediksi hanya menggunakan data yang ada dari percobaan yang dilakukan. Sedangkan metode Bayesian menggunakan prior yang akan akan diperbarui seiring dengan bertambahnya data yang diterima. Output dari metode Bayesian A/B testing berupa keyakinan akan rentang nilai sebenarnya dari click through rate. Keyakinan ini dituangkan dalam bentuk distribusi posterior. Dari penelitian yang dilakukan, diperoleh hasil bahwa metode Bayesian A/B testing  mampu memberikan inferensi yang cukup baik meskipun dengan pemilihan prior yang tidak informatif. Dari hasil tersebut, maka sebuah perusahaan bisa memanfaatkan metode ini menguji tampilan laman website.

---

Google was able to increase profits by up to $200 million by conduction experiments where they tested some shades of blue of the advertisement link in their website display. However, finding the website display which provides the best performance from millions of visitors is not easy. One of the criteria that a website has a good performance is that it has a high number of click through rate. To solve this problem, one of the method that can be used is A/B testing. A/B testing works by dividing the website visitors into two groups; treatment group and control group. Each group will be presented with different website page variants. The responses from visitors are recorded and tested for knowing which variant performs better. At the testing stage, there are two methods that can be used, frequentist and Bayesian. The frequentist method makes predictions using only the data available from the experiments. While the Bayesian method uses priors that will be updated as the data is received. The output from Bayesian A/B testing method is a belief of range from the actual value of click through rate. This belief is expressed in the form of posterior distribution. From this research, Bayesian A/B testing method is able to provide quite good inference even though we select a non informative prior. From this result, a company can apply this method to test the website display.