Incomplete Hindi/Eng Text Normalization for Numerals, Scientific Notation, and Code-Mixed Terms

[sachin7695]

Thanks for the repo and contribution towards building a robust normalizer, however while experimenting i found out couple of issues and i have mentioned here efforts around them will make it even better i beileve!!
Test case -1

input text
प्रयोग 7.7 में, 7-stage pipeline ने 7,777 signals को 7.07 GHz पर process किया, जहाँ signal-7 ने π = 3.141592653589793 को तीन बार repeat किया—3.141592653589793, 3.141592653589793, 3.141592653589793—और 10⁻⁷ seconds बाद system failure हुआ क्योंकि Kirchhoff's current law और Kirchhoff's voltage law को simultaneously violate करने पर 64-bit, 32-bit और 16-bit registers में 1,000,001 + 1,000,001 + 1,000,001 का overflow detect हुआ।

output text with hindi language
प्रयोग सात दशमलव सात में , सात-stage pipeline ने सात कॉमा सात सौ सतहत्तर signals को सात दशमलव शून्य सात गीगाहर्ट्ज़ पर process किया , जहाँ signal-सात ने π बराबर तीन दशमलव एक चार एक पाँच नौ दो छह पाँच तीन पाँच आठ नौ सात नौ तीन को तीन बार repeat किया—3 . चौदह नील पंद्रह खरब बानबे अरब पैंसठ करोड़ पैंतीस लाख नवासी हज़ार सात सौ तिरानबे कॉमा तीन दशमलव एक चार एक पाँच नौ दो छह पाँच तीन पाँच आठ नौ सात नौ तीन , 3.141592653589793—और 10⁻⁷ seconds बाद system failure हुआ क्योंकि Kirchhoff's current law और Kirchhoff's voltage law को simultaneously violate करने पर चौंसठ-bit , बत्तीस-bit और सोलह-bit registers में 1,000,001 प्लस 1,000,001 प्लस 1,000,001 का overflow detect हुआ ।

ideal output i was expecting
प्रयोग सात दशमलव सात में, सेवन-स्टेज पाइपलाइन ने सात हज़ार सात सौ सतहत्तर सिग्नल्स को सेवन पॉइंट ज़ीरो सेवन गीगाहर्ट्ज़ पर प्रोसेस किया, जहाँ सिग्नल सेवन ने पाई, यानी तीन दशमलव एक चार एक पाँच नौ दो छह पाँच तीन पाँच आठ नौ सात नौ तीन, को तीन बार रिपीट किया ... तीन दशमलव एक चार एक पाँच नौ दो छह पाँच तीन पाँच आठ नौ सात नौ तीन, तीन दशमलव एक चार एक पाँच नौ दो छह पाँच तीन पाँच आठ नौ सात नौ तीन, और तीन दशमलव एक चार एक पाँच नौ दो छह पाँच तीन पाँच आठ नौ सात नौ तीन, और दस की घात माइनस सात सेकंड बाद सिस्टम फेल्योर हुआ क्योंकि किर्खॉफ्स करंट लॉ और किर्खॉफ्स वोल्टेज लॉ को सिमल्टेनियसली वॉयलेट करने पर सिक्स्टी-फोर बिट, थर्टी-टू बिट और सिक्स्टीन बिट रजिस्टरों में दस लाख एक प्लस दस लाख एक प्लस दस लाख एक का ओवरफ्लो डिटेक्ट हुआ।

Test case 02

input text
10–12% YoY growth, EMI @ 8.75%,14:35 IST, Q3 FY24, w.e.f. 01.01.2024

output text
ten– twelve percent YoY growth, EMI at eight point seven five percent, fourteen thirty five IST, Q three FY twenty four, w.e.f. january first twenty twenty four

Test case 03
text_math = "(3 + 5) * x^2"
output :
(three plus five) asterisk x squared
ideal case would be-
"open bracket three plus five close bracket times x squared"

[Prakashpsk]

In WFST (Weighted Finite-State Transducer)–based normalization, the main advantage is that we can change or add any rules we want.
Yes, this is a long process, but once all probabilities and weights are fixed, WFST becomes a very optimized and stable normalization technique.
For example:
सात कॉमा सात सौ सतहत्तर
Problem:

Comma is not dropped

When numbers are comma-separated, they should be spoken as one long number, not with “कॉमा” or digit-wise

Expected:
7,777 → सात हज़ार सात सौ सतहत्तर

This can be fixed easily by adding rules:

Go to the hi folder

Update rules in taggers/cardinal.py

Adjust priority/weights in tokenize_and_classify.py so cardinal numbers get higher priority than punctuation

example code:

Handle comma-separated numbers (both Western and Indian format)

   delete_comma = pynutil.delete(",")
    
    # Western style: 1-3 digits, then groups of 3 digits separated by commas
    # e.g., 1,234 or 12,345 or 123,456 or 1,234,567
    western_comma_number = (
        pynini.closure(NEMO_DIGIT, 1, 3)
        + pynini.closure(delete_comma + NEMO_DIGIT + NEMO_DIGIT + NEMO_DIGIT, 1)
    )
    
    # Indian style: rightmost group has 3 digits, then groups of 2 digits
    # e.g., 1,234 (1 thousand) or 12,345 or 1,23,456 (1 lakh) or 12,34,567 or 1,23,45,678 (1 crore)
    # Pattern: (1-2 digits ,)* + 1-2 digits , + 3 digits (rightmost)
    indian_comma_number = (
        pynini.closure(pynini.closure(NEMO_DIGIT, 1, 2) + delete_comma, 1)
        + NEMO_DIGIT + NEMO_DIGIT + NEMO_DIGIT
    )

after optimize code example output:

प्रयोग सात दशमलव सात में , सात-stage pipeline ने सात हज़ार सात सौ सतहत्तर

[karthik-mb]

@sachin7695 Thanks a lot for the detailed report and for sharing ideal outputs — this is very helpful.

Just to clarify the current status:

• These issues exist across multiple languages in the repo today.
• We have implemented fixes only for 4 languages so far: Hindi / Kannada / Telugu / Tamil (as an initial rollout).
• We’re actively working on extending the same robustness to the remaining languages (including English), but that work is still in progress.

So at the moment, you should see improved behavior mainly in hi/kn/te/ta, while other languages may still show the same edge cases (ranges like 10–12%, mixed finance/date tokens, and math punctuation verbalization like brackets / times vs asterisk).