I don&#39;t think that anyone at this point would really stand in the way of these characters being PVALID, if it weren&#39;t for compatibility problems. To that end, I think the key issue is the transition strategy: how to deal with the 5 or so years where the browser implementations are transitioning to IDNA2008. If we had an adequate strategy, I don&#39;t think anyone would really stand in the way of having the 4 problem characters be valid.<br>

<br>These 4 characters are unlike symbols in two ways: (a) with symbols you don&#39;t go to two different places with two different browsers, and (b) symbols are far less frequent than these characters. So even though the prohibition on symbols was based on no particular evidence, the prohibition doesn&#39;t cause a severe compatibility issue.<br>

<br>When reading some of the transition proposals, one approach occurred to me. What if we have a new status for the 4 characters: TRANSITIONAL?<br><br>We set it up in this way; in IDNA2008, TRANSITIONAL characters are invalid for registration and lookup, AND cannot be mapped. After a period of some years, once the percentage of IDNA2003 browsers and emailers have dropped to a small proportion, the stated plan is to issue a new version of IDNA that changes them to PVALID.<br>

<br>That will cause currently valid URLs to fail, but that is far better than having them have ambiguous targets. This way we get to the long-term goal of having these characters be PVALID, without having the disruption during the interim.<br>
<br>===<br><br>As far as Harald&#39;s back-of-the-envelope calculations go, they present a very inaccurate picture of the scale. Here are some more exact figures for that data.<br><ol><li>819,600,672    = sample size of documents</li>
<li>5,000    = links with eszed in the sample</li><li>1,000,000,000,000    = total documents in index (2008)</li><li>1,220    = scaling factor (= total docs / sample size)</li><li>6,100,532    = estimated total links with eszed (= scaling * sample eszed links)<br>
</li></ol>Even this has to be taken with a certain grain of salt, since (a) it is assuming that the sample is representative (although we have reasonable confidence in that), and (b) it doesn&#39;t weight the &quot;importance&quot; of the links (in terms of the number of times they are followed), and (c) this data was collected back in Nov 2008, so we&#39;ve had another year of growth since then.<br>
<br clear="all">Mark<br>
<br><br><div class="gmail_quote">On Tue, Dec 1, 2009 at 01:59, Alexander Mayrhofer <span dir="ltr">&lt;<a href="mailto:alexander.mayrhofer@nic.at" target="_blank">alexander.mayrhofer@nic.at</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

<br>
(I&#39;ve spent quite some time on re-thinking the issue last night. It&#39;s a bit longish, and the promised proposal is at the end).<br>
<br>
I think i didn&#39;t make it clear enough in my previous messages that i&#39;m not an opponent of the character Latin Sharp S itself. I&#39;m opposing against changes that have a high risk of introducing interopability, particularly in the long run.<br>


<br>
My *only* major concern is that the introduction of the Latin Sharp S is exactly such a case, but a particularly nasty one. I understand that the majority of WG participants think that &quot;ß&quot; should be PVALID (i&#39;m carefully avoiding the word &quot;concensus&quot; here, because it&#39;s obviously up to the WG chair to declare that).<br>


<br>
If i look at the issue in an isolated way, not considering any compatibility/interopability issues, then it makes perfectly sense to declare &quot;ß&quot; PVALID, because (this is sort of convincing myself here ;) :<br>
<br>
- There seems to be little existing deployment of ß-labels out there, at least on the web - the client side is a different issue, there&#39;s nearly 100% deployment. We can also err guesstimate that &quot;ß&quot; has only about 1% of the deployment of other german &quot;umlauts&quot;, according to Erik&#39;s numbers (As Eric pointed out, those numbers have no indication of confidence, though). We don&#39;t know how many people type &quot;ß&quot; into their browser address bar, though, which is at least &quot;unsatisfying&quot; from an engineering perspective.<br>


<br>
- The character is undoubtly part of German grammar, at least in two of the three countries where German is an official language - i don&#39;t know about the minorities in other countries. The upper case variant as well as the Unicode casing and folding is.. well, extravagant - but the lowercase &quot;ß&quot; is definitely part of the grammar.<br>


<br>
- Georg&#39;s argument that this would be &quot;the last chance&quot; to introduce &quot;ß&quot;, got me thinking. If the &quot;Exceptions&quot; would be implemented as an IANA registry, it would be much easier to add (and probably remove) characters. But given that changes to the Exceptions now require an update to the base specification, we should probably take this opportunity, rather than waiting for IDNA2015.<br>


<br>
So, as i said multiple times, the problem is changing the semantics of a part of the namespace, definitely from the user&#39;s perspective - one could argue whether or not that means the &quot;protocol semantics&quot; change, since the mapping step ist part of the protocol of IDNA2003.<br>


<br>
Regarding interopability, i&#39;m not so much concerned about the transition period between IDNA2003 and IDNAbis. This will be painful, but it will be (hopefully temporary).<br>
<br>
What i am more concerned is that the legacy of the &quot;ß-ss&quot; mapping would introduce incompatibility for an indefinite period of time, *after* all clients have switched over to IDNAbis. This could happen because some vendors would implement mappings to be fully IDNA2003 backwards compatible, and others would implements the informative idnabis-mappings only.<br>


<br>