<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif;">
<div>The BIDI rule changed in IDNA2008 to allow trailing digits in RTL labels – I use this for determining whether an implementation is based on IDNA2003 or IDNA2008 (+ UTS 46 or another set of mappings).</div>
<div><br>
</div>
<div>Regards,</div>
<div>James Mitchell</div>
<div>ARI Registry Services</div>
<div><br>
</div>
<span id="OLK_SRC_BODY_SECTION">
<div style="font-family:Calibri; font-size:11pt; text-align:left; color:black; BORDER-BOTTOM: medium none; BORDER-LEFT: medium none; PADDING-BOTTOM: 0in; PADDING-LEFT: 0in; PADDING-RIGHT: 0in; BORDER-TOP: #b5c4df 1pt solid; BORDER-RIGHT: medium none; PADDING-TOP: 3pt">
<span style="font-weight:bold">From: </span>Mark Davis ☕ <<a href="mailto:mark@macchiato.com">mark@macchiato.com</a>><br>
<span style="font-weight:bold">Date: </span>Friday, 17 January 2014 12:24 am<br>
<span style="font-weight:bold">To: </span>Anne van Kesteren <<a href="mailto:annevk@annevk.nl">annevk@annevk.nl</a>><br>
<span style="font-weight:bold">Cc: </span>Gervase Markham <<a href="mailto:gerv@mozilla.org">gerv@mozilla.org</a>>, yaojk <<a href="mailto:yaojk@cnnic.cn">yaojk@cnnic.cn</a>>, Paul Hoffman <<a href="mailto:paul.hoffman@vpnc.org">paul.hoffman@vpnc.org</a>>,
 "<a href="mailto:PUBLIC-IRI@W3.ORG">PUBLIC-IRI@W3.ORG</a>" <<a href="mailto:public-iri@w3.org">public-iri@w3.org</a>>, "<a href="mailto:uri@w3.org">uri@w3.org</a>" <<a href="mailto:uri@w3.org">uri@w3.org</a>>, John C Klensin <<a href="mailto:klensin@jck.com">klensin@jck.com</a>>,
 IDNA update work <<a href="mailto:idna-update@alvestrand.no">idna-update@alvestrand.no</a>>, "www-tag.w3.org" <<a href="mailto:www-tag@w3.org">www-tag@w3.org</a>><br>
<span style="font-weight:bold">Subject: </span>Re: Standardizing on IDNA 2003 in the URL Standard<br>
</div>
<div><br>
</div>
<div>
<div>
<div dir="ltr">
<div class="gmail_default"><font face="garamond,serif">> <span style="color:rgb(0,0,0);font-size:11px">The point is that in practice, it [IDNA2003] isn't fixed to Unicode 3.2.</span></font></div>
<div class="gmail_default"><font face="garamond,serif"><br>
</font></div>
<div class="gmail_default"><font face="garamond,serif">It is not unlikely that an implementation that you think is following IDNA2003 (</font><span style="font-family: garamond, serif;">with a non-standard, larger repertoire)</span><span style="font-family: garamond, serif;"> is
 actually following UTS 46.</span></div>
<div class="gmail_default"><span style="font-family: garamond, serif;"><br>
</span></div>
<div class="gmail_default"><span style="font-family: garamond, serif;">If you were reverse-engineering to find out which standard an implementation was following, you'd need to query certain characters to see if they were supported, and how. UTS 46 also allows
 two 'modes', for transitional and not, that you'd have to test. </span><span style="font-family: garamond, serif;">There is a table in <a href="http://unicode.org/reports/tr46/#Table_IDNA_Comparisons">http://unicode.org/reports/tr46/#Table_IDNA_Comparisons</a>
 that illustrates this. (You'd have to look at the data tables to get a full listing.) And, of course, it is clearly possible for an implementation to be non-conformant to all of the standards we are talking about (IDNA2003, UTS 46, and IDNA2008).</span></div>
<div class="gmail_default"><font face="garamond,serif"><br>
</font></div>
<div class="gmail_default"><font face="garamond,serif">As previously noted, however, casing differences and the 4 deviation characters take some careful checking, since there is a difference between what the implementation accepts and what goes out 'over the
 wire'. And the implementation may also not be using the latest version of Unicode, which would make a difference for UTS 46 and IDNA2008.</font></div>
<div class="gmail_default"><font face="garamond,serif"><br>
</font></div>
<div class="gmail_default"><font face="garamond,serif">BTW, there's an online demo of Unicode properties that can be used to see differences. The categories are slightly different than what is shown in the above chart, but you can get a sense for the differences:</font></div>
<div class="gmail_default"><font face="garamond,serif"><br>
</font></div>
<div class="gmail_default"><font face="garamond,serif"><a href="http://unicode.org/cldr/utility/list-unicodeset.jsp?a=\p{any}&abb=on&g=idna2003+uts46+idna2008">http://unicode.org/cldr/utility/list-unicodeset.jsp?a=\p{any}&abb=on&g=idna2003+uts46+idna2008</a><br>
</font></div>
<div class="gmail_default"><font face="garamond,serif"><br>
</font></div>
<div class="gmail_default"><font face="garamond,serif">One way to look at UTS 46 is as a migration layer to support client implementations during the transition of registries from IDNA2003 to IDNA2008, plus a mapping layer that can be used with straight IDNA2008.</font></div>
<div class="gmail_default"><font face="garamond,serif"><br>
</font></div>
<div class="gmail_default"><font face="garamond,serif">> <span style="color:rgb(0,0,0);font-size:11px">I think I did mention earlier on UTS46 might be okay, depending on the</span></font></div>
<span style="color:rgb(0,0,0);font-size:11px"><font face="garamond,serif">details. I am hoping to hear from Mark on the matter.</font></span>
<div><font color="#000000" face="garamond,serif"><span style="font-size:11px"><br>
</span></font></div>
<div><font color="#000000" face="garamond,serif">
<div class="gmail_default" style="display:inline">​I'm not sure what specific​ questions you have about UTS 46. Can you reiterate them?</div>
<br>
</font>
<div><span style="color: rgb(0, 0, 0); font-family: arial, sans-serif; font-size: 11px;"><br>
</span></div>
</div>
</div>
<div class="gmail_extra"><br clear="all">
<div>
<div dir="ltr"><font face="times new roman,serif">
<div style="background-color:transparent;margin-top:0px;margin-left:0px;margin-bottom:0px;margin-right:0px">
<div></div>
</div>
<div style="background-color:transparent;margin-top:0px;margin-left:0px;margin-bottom:0px;margin-right:0px">
<br>
</div>
<div style="background-color:transparent;margin-top:0px;margin-left:0px;margin-bottom:0px;margin-right:0px">
<a href="https://google.com/+MarkDavis" target="_blank">Mark</a></div>
<div style="background-color:transparent;margin-top:0px;margin-left:0px;margin-bottom:0px;margin-right:0px">
<i><br>
</i></div>
<div style="background-color:transparent;margin-top:0px;margin-left:0px;margin-bottom:0px;margin-right:0px">
<i>— Il meglio è l’inimico del bene —</i></div>
</font>
<div>
<div><font face="times new roman,serif"><i><span style="font-style:normal"><i></i></span><i></i></i></font></div>
</div>
</div>
</div>
<br>
<br>
<div class="gmail_quote">On Thu, Jan 16, 2014 at 12:48 PM, Anne van Kesteren <span dir="ltr">
<<a href="mailto:annevk@annevk.nl" target="_blank">annevk@annevk.nl</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im">On Thu, Jan 16, 2014 at 11:36 AM, Gervase Markham <<a href="mailto:gerv@mozilla.org">gerv@mozilla.org</a>> wrote:<br>
> On 16/01/14 11:17, Anne van Kesteren wrote:<br>
</div>
<div class="im">>> It's not worse if it's fully backwards compatible and mostly<br>
>> interoperable across all major clients. At that point the standard is<br>
>> just wrong.<br>
><br>
> And having a standard fixed to Unicode 3.2 is not also "just wrong"?<br>
<br>
</div>
The point is that in practice, it isn't fixed to Unicode 3.2. I have<br>
yet to encounter an IDNA2003 implementation that does that. It turns<br>
out the setup we have in practice is a compatible evolution.<br>
<div class="im"><br>
<br>
> And I refer you to my comments above. Problems like lowercasing (for<br>
> better or worse) are punted by IDNA2008 and are labelled as an<br>
> application-level problem. In practice, what everyone should do for best<br>
> interoperability is implement the same application-level mappings, and<br>
> implement ones which are as compatible as possible with IDNA2003.<br>
> Hence.... UTS46.<br>
<br>
</div>
I think I did mention earlier on UTS46 might be okay, depending on the<br>
details. I am hoping to hear from Mark on the matter.<br>
<span class="HOEnZb"><font color="#888888"><br>
<br>
--<br>
<a href="http://annevankesteren.nl/" target="_blank">http://annevankesteren.nl/</a><br>
<br>
</font></span></blockquote>
</div>
<br>
</div>
</div>
</div>
</span>
</body>
</html>