en-tr translation quality feedback

[selimsum]

I've been playing around with en-tr translations and I'd like to share some feedback.

I chose this story for a detailed comparison with Google Translate.

In the Google docs linked below, I've highlighted each sentence with colors corresponding to four levels of translation quality. Obviously, these are my own interpretations.

Our model also generated some made-up words (13 out of 800 words). I've marked them as well.

It's quite interesting that our COMET score turns out to be within 5% of Google Translate's COMET score. I would rate our translation quality much lower than that. And this makes me think that COMET shouldn't be considered a reliable metric for Turkish.

In my opinion, our model's current translation quality in general is not good enough to be shipped yet.

The devil's in the details - Firefox Translations
The devil's in the details - Google Translate

[eu9ene]

Hi Selim! Thank you for the detailed analysis! So this story is a dialogue, likely an excerpt from some book. The language doesn't look too complex, but I would suspect the model might be bad at translating dialogues. Also quotes might somehow make it worse. However, I see there are a couple of sections without dialogues, those are just descriptions, and they still have critical errors in your annotation.

I would be curious to hear your feedback on translating regular news. Something like a story from https://www.cnn.com/. Is it also full of major/critical errors and completely unusable?

[eu9ene]

Looking at the evals we have ML based COMET and lexical BLEU which is supposed to be less reliable. COMET scores are similar for Google and Microsoft but interestingly BLEU scores for Google are a lot lower than Microsoft. Based on the analysis of the story where we see some critical and major errors in Google's translation, it might be the case that their model is quite bad, so -5% diff criteria doesn't work well here. Another hypothesis is that COMET is not great at Turkish.

The evaluation datasets:

• those older WMT ones are mostly news I think
• Flores is a general purpose evaluation dataset developed by Facebook

[selimsum]

I would be curious to hear your feedback on translating regular news. Something like a story from https://www.cnn.com/. Is it also full of major/critical errors and completely unusable?

Sure thing. Here's an article from CNN. It's slightly better but still not acceptable IMO.

• Source: https://edition.cnn.com/2024/08/28/style/israel-haifa-museum-boy-breaks-artifact-hnk-intl/index.html
• 4-year-old accidentally shatters Bronze Age jar at museum - Google Translate
• 4-year-old accidentally shatters Bronze Age jar at museum - Firefox Translations

I've also checked out some articles from Wikipedia and theverge.com but the quality seems to be consistently low.

If there's any particular article you're interested in, just let me know.

[eu9ene]

I see, thanks! Just to be clear about your notation, those minor/major/critical errors, do they correspond to wrong meaning or grammatical errors? For example for the en-ru model which is not meeting our criteria yet, I see a lot of correct meaning but language fluency can be pretty bad (word choice, grammar etc.).

[selimsum]

Minor errors correspond to fluency errors and bad word choices.

Major errors might include a few mistranslated words or grammar mistakes (such as verb tense or syntax) but you get the general meaning of the sentence.

Criticals errors are either incorrect or meaningless translations and you can't comprehend what the sentence actually means.

[eu9ene]

@selimsum could you please have a look at the same pieces translated by our large teacher model? (we compress it later to the small one that you use in the browser). It can help us identify whether the issue is in teacher training or compression.

Story 1 :

Şeytan ayrıntılarda gizli
Tam Victoria dairesini terk etmek üzereyken biri kapısını çaldı. Asansörü ya da merdivenlerde kimseyi duymadığı için garipti. Hızla diğer ayakkabısını giymeye çalıştı ve neredeyse düşecekti. Yerde birçok açılmamış mektup vardı – muhtemelen para istedi –. Bu ay üçüncü kez işe geç kaldı ve şimdi bir ziyaretçisi vardı. Harika, diye düşündü.
Kapıyı açtı ve ‘Konuşmayı çok isterim, ama üzgünüm yapamam!’ diyecek şekilde gülümsemeye çalıştı.
'Peki bugün nasılsın Victoria?' diye sordu kapısındaki adam. 'İyi, umarım! Değilse, size şirketimin harika yönetmeninden sonsuz bir sıcaklık ve en iyi dileklerimi getiriyorum.'
Victoria'nın gülümsemesi kayboldu. Adını nereden biliyordu?
'Nasıl bu kadar emin olabiliyorum biliyor musun?' diye sordu. 'Şirketimin harika müdürüyüm!'
'Özür dilerim' dedi Victoria. 'Gerçekten gitmem gerekiyor. İşe geç kaldım.'
'Zaman!' Üzgün görünüyordu. 'Hepsinin istediği bu. Zaman mı mutluluk mu, hangisini daha çok isterdin?'
“Dinle, gerçekten,” dedi Victoria, “İlgilenmiyorum, üzgünüm.”
'Özel bir teklifimiz var' diye yanıtladı. 'Sonsuzluk karşılığında yirmi beş yıllık ekstra yaşam. Ya da' diye gülümsedi, 'aynı fiyata mutluluğunuzu ikiye katlayın.'
“Fiyat?” diye tekrarladı, kafası karışmıştı.
'Gizli ücretler yoktur. Sahip olduğunuz her şeyi alıyoruz - sonsuza kadar.'
Victoria, böyle aptalca bir şakayla zaman kaybetmesinin garip olduğunu düşündü. “O zaman elli yıl ya da dört kat daha fazla mutluluk istiyorum” diye şaka yaptı.
'Ah, yapabilirdin,' dedi. 'Ama sana söylemeliyim, yılların kalitesi yirmi beşten sonra düşüyor. Mutluluğu seçmeni tavsiye ederim.'
Onun için asansör düğmesine bastı. Tabii ki, sabah olduğu ve iş için giyindiği için aşağı indiği belliydi. Tamam, bu yüzden akıllı çantasında sadece sandviç vardı, önemli kağıtlar yoktu ve takım elbisesi ikinci eldi. Bir gün, iyi olduğu ve iyi ödediği bir işi düşünürdü.
Bazen Victoria, kız kardeşinin ailedeki tek şanslı kişi olduğunu hissetti. Charlotte'un kendi ödüllü şirketi vardı ve yakışıklı ve komik Peter ile evliydi. Peter ile ilgili tek sorun, Victoria'nın kız kardeşinin evlenmesi için bir ikizinin olmamasıydı! Charlotte'un Charlotte ile tanışması bile bir film gibi geldi. Bir sürü kötü şakadan sonra, Charlotte bazen bir araba kazası geçirdi. İlk başta, doktorlar bir daha asla yürümeyeceğini söyledi ama şimdi, yeni bir doktorla tanıştılar.
Charlotte'un kazasını hatırlamak onu düşündürdü. Gelecekte neler olabileceğini bilmek imkansızdı. 'Ama ya yarın bir otobüs tarafından öldürülürsem?'
'O zaman mükemmel hayatın sadece bir gün sürecek. Zaman ya da mutluluk, sadece bir tane sunabilirim. Mucizeler yapamam. Başka bir şirket bunları yapar.'
“Belki de iş değiştirmelisin,” dedi ve asansör düğmesine kendisi bastı.
'Hayır' dedi. 'Onlar için çalışmayı denedim. Satış ekipleri çok farklı bir teklifte bulunuyor: Şimdi zor bir hayata sahip olun, sonra sonsuza dek mutlu olun. Bazı müşteriler fikri sever ama dürüst olmak gerekirse, onu satmak çok daha zordur.'
Asansör hareket bile etmiyordu, bu yüzden merdivenlere doğru döndü. İşe çok geç kalacaktı. Ama merdivenlerden inmeye başladığında, aniden bir şey hatırladı.
'Oh hayır!' dedi. 'Gabriella ve Angela!' Küçük yeğenlerinin doğum günü hediyeleri hala mutfak masasında oturuyordu. Şimdi geri dönüp onları almak için zaman yoktu.
"“İstediğin zaman geldi, değil mi Victoria? Her zaman biliyorum,” diye arkasından seslendi."
'Söylediğin bu aptalca şeylere inanmıyorum ve seninle konuşacak vaktim yok!'
Konuşmayı bıraktı çünkü daha fazla zamana ihtiyacı olduğunu itiraf ettiğini fark etti. Sonra tırabzandan aşağı kayarken çığlık attı ve aniden önünde belirdi, kolları ve bacakları çapraz havada süzüldü.
'Aha!' dedi. 'Bunun yerine mutluluk istiyorsun!'
Victoria geriye doğru hareket etti ve düşmemesi için elini duvara dayadı. Artık garip adamın kim olduğunu biliyordu.
“Yeterince mutluyum, teşekkürler,” dedi merdivenlerden aşağı doğru koşmaya başlayarak.
'Mutlu musun Victoria?' diye sordu onunla birlikte tırabzandan aşağı kaymaya devam ederken. 'Tabii ki işin kötü değil. Maaşın düşük olmasına ve patronunun senden nefret etmesine aldırmıyorsun çünkü her zaman geç kalıyorsun. Eminim kiranı ödeyecek parayı bulacaksın, tıpkı her zaman yaptığın gibi.'
'Bunu bilemezsin!' diye bağırdı. 'Neyse, para mutluluğu satın almaz!'
'Doğru, Victoria, doğru. Dünyayı döndüren aşktır.'
"Aynen!" dedi. Beş kat daha kaldı.
“Eminim bir gün biriyle tanışacaksın...” dedi.
“Mutlu olmak için bir erkeğe ihtiyacım yok, bu yüzden teklif ettiğin tek şey buysa ...”
'Çok zekisin Victoria' diye devam etti. 'Bu kadar az insan mutluluğun satın alabileceğimiz şeylerden ya da başka insanlardan değil içimizden geldiğini anlıyor. Birçok müşterimizden daha zeki olduğunu görüyorum. Yirmi beş yıl fazladan o zaman. Bunu sende görebiliyorum Victoria. Onları boşa harcamayacaksın.'
“Ama yirmi beş daha fazla ne?”
'Hayır hayır.' Onunla son virajı döndü. 'Ömrünün ne kadar uzun olduğunu söylemeyeceğim. Müşterilerle denedik ve işe yaramıyor. İnsanlar ne kadar yaşayacaklarını bildiklerinde hayatlarından zevk almıyorlar.'
'Bunların hiçbirine inanmıyorum. Ya da sana!'
Tırabzandan atladı ve küçük ve beyaz bir şey tuttu.
'Kız kardeşin de inanmadı' dedi. 'Kazasını geçirene kadar değil. Fikrini değiştirirsen işte kartım.'
Victoria merdivenlerde tek başınaydı, şokta ağzı açıktı.

Story 2

İsrail'in Hayfa kentindeki bir arkeoloji müzesinde 4 yaşındaki bir çocuk yanlışlıkla bir Bronz Çağı kavanozunu parçaladı.
Uzmanların en az 3.500 yaşında olduğunu söylediği antik eser, olay sırasında kurumun girişinin yakınında cam bir kasa olmadan sergileniyordu.
"Çarşamba günü CNN’e e-postayla gönderilen bir açıklamada, Hecht Müzesi, koruyucu cam olmadan belirli nesneleri sunma kararını savundu ve kurucusu Reuben Hecht’in eserleri halka açık hale getirmeyi vurguladığını da sözlerine ekledi."
"“Müze, herhangi bir engel olmadan arkeolojik bir buluntuyu deneyimlemede özel bir cazibe olduğuna inanıyor” denilen açıklamada, kurumun olaya rağmen “bu geleneği sürdüreceği” belirtildi."
"BBC’ye konuşan çocuğun babası, oğlunun geçen Cuma günü müzeyi ziyaretinde “kavanozu hafifçe çektiğini” çünkü “içinde ne olduğunu merak ettiğini” söyledi. Adam, oğlunu kırık eserin yanında görmekten şok olduğunu ve başlangıçta “Bunu yapan benim çocuğum değildi” diye düşündüğünü de sözlerine ekledi."
Çocuğun ebeveynlerine CNN tarafından hemen ulaşılamadı.
Kavanoz, kazadan önce sağda resmedilmiş.
Kavanoz, kazadan önce sağda resmedilmiş.
Kategori: Hecht Müzesi personeli
Müze, eserin MÖ 2200 ile MÖ 1500 yılları arasında olduğuna inanıyor. MÖ 10. yüzyılda eski İsrail ve Yahuda krallığını yöneten Kral Davut ve Kral Süleyman'ın saltanatlarından önce, şarap veya zeytinyağı gibi sıvıların depolanması ve taşınması için kullanılmış olacaktı.
Arkeologlar geçmişte benzer gemileri ortaya çıkarırken, müzeye göre bunların çoğu kırıldı veya tamamlanmadı. Görüntülenen öğenin bozulmadan keşfedilmesi, onu “etkileyici bir bulgu” haline getirdi.
İsrailli haber kuruluşu Ynet’e konuşan müze başkanı Inbal Rivlin, olay sırasında da bulunan çocuğu ve annesini özel bir tur için müzeye davet etti.
“Müze bir türbe değil, ailelere (ve) erişilebilir bir yaşam alanı” dedi ve ekledi: “Ebeveynlere sesleniyoruz: Korkmayın. Bunun gibi şeyler olur. (Kavanozu) düzeltip geri koyacağız.”
İsrail'de mağarada 1,900 yıllık dört Roma kılıcı bulundu
Rivlin, müzenin hangi eşyalara dokunulabileceğini veya dokunulamayacağını gösteren yeni işaretler bastığını söyledi.
1984'te Hayfa Üniversitesi'nin arazisinde açılan Hecht Müzesi, Kalkolitik döneme (MÖ 4500 ila MÖ 3500 civarında) kadar uzanan arkeolojik keşifler içeriyor. Müze, kırık kavanozu fotoğraflar yardımıyla restore etmek için bir restorasyon uzmanına yaklaşıldığını söyledi.
"“Kavanoz kısa süre içinde yerine iade edilecek” diye devam edilen açıklamada, müzenin restorasyonu halkı eğitmek için bir fırsat olarak kullanacağı belirtildi."
Bu arada çocuğun babası BBC’ye verdiği demeçte, kavanozun “artık aynı eşya olmayacağı” için üzgün olduğunu söyledi.

@gregtatum btw how do we do segment splitting for the first one? (https://learnenglish.britishcouncil.org/general-english/story-zone/a2-b1-stories/devils-details-a2/b1). Is it by paragraph/new_line or by sentence? It would be hard to split by sentences correctly having periods inside the quotes and sometimes missing. I've split just by new line when translating with the teacher.

[selimsum]

These are much better and do not include made-up words. I'd consider these acceptable and shippable.

[selimsum]

@eu9ene Do you think this would be fixable with an update soon? If it's going to take some time, we should consider pulling en-tr at least from release for now.

[eu9ene]

Hi Selim, I discussed this with the team. We're investigating it and working on the fix but it will take some time to roll out a new model. We will consider pulling it based on the results of the investigation. The whole feature is under BETA label and mistakes are expected for some models to some extent. We're still in progress of figuring out where the border between "minimal usefulness" and "completely unacceptable" is. Thanks again for the detailed feedback!