Σχετικά με τα αλλοιωμένα post...

[haritak]

τί κοινό έχουν όλοι αυτοί; Ξέρουμε;

Μία σκέψη που έκανα είναι ότι η κωδικοποίηση που στέλνουν δεν είναι utf-8 αλλά iso8859-7.
Κανα σκριπτάκι που να διαβάζει τα posts και να βρίσκει την κωδικοποίηση τους δεν παίζει;

Λέμε τώρα...

[georgeh]

ήταν από τα πρώτα που κάναμε αλλά τζίφος
ούτε η mysql δεν τα έφερνε σωστά
η προηγούμενη phpbb ήταν πολύ custom και ίσως ξέφυγε κάτι εκεί!!

[haritak]

Λοιπόν, εγώ έκανα ένα μικρό τεστάκι και κατέληξα στο εξής:

κωδικοποίηση iso8859-7 έχει αποθηκευτεί ώς UTF-8.
Για παράδειγμα το ποστ του SsimosS :
Öáßíåôáé áðü ôá öùôïñõèìéêÜ óôï ôáâÜíé
Ηταν αρχικά κωδικοποίηση iso8859-7, αλλά τώρα είναι μέσα στην βάση με UTF-8.
Δηλαδή ο χαρακτήρας Ö δεν μετατράπηκε πρώτα σε UTF-8 απο iso8859-7 αλλά μπήκε κατευθείαν στην βάση σα να ήταν UTF-8.

Αποτέλεσμα:
Σε όλα τα ποστς που οι χαρακτήρες έχουν κωδικό σχετικά μικρό χρειάζεται άνα "shift" των χαρακτήρων.
Στο παραπάνω κείμενο αν στον κωδικό UTF-8 του κάθε χαρακτήρα προσθέσουμε το νούμερο 720 βγαίνει :
Φαίνεται από τα φωτορυθμικά στο ταβάνι

[edit]
Οπότε αν μπορείτε να φτιάξετε ένα σκριπτακι να κοιτάζει σε κάθε ποστ τους χαρακτήρες και αν οι κωδικοι τους πέφτουν στα ιερογλυφικά
να πρόσθέτουν 720... Μπορώ να σας φτιάξω κάτι σε java αν θέλετε.
[/edit]

[edit 2]
Μιας και δεν ξέρω πότε θα ξαναβρώ χρόνο για να βοηθήσω, δείτε αυτό:

Κώδικας: Επιλογή όλων

   public static String convert (String badString)
   {
      StringBuffer sb = new StringBuffer();
      for (int i=0; i<badString.length(); i++)
      {
         int badCodepoint = badString.codePointAt(i);
         int goodCodepoint = badCodepoint + 720;

         sb.appendCodePoint( goodCodepoint );
      }

      return sb.toString();
   }


Απλά θέλει λίγο προσοχή στο να εφαρμόζεται μόνο όταν το codePoint του badString αντιστοιχεί σε νούμερο ιερογλυφικών. Εδώ θέλει λίγη προσοχή. Αν προλάβω θα κάνω άλλο ένα edit.
[/edit 2]

[georgeh]

το θέμα είναι ότι θα πρέπει να πειράξουμε όλο το forum σε πολλές σελίδες και στην ουσία πάλι όλα στην βάση δεν θα είναι γραμμένα σωστά
το πιο σωστό είναι να κάνουμε alter του πίνακες και να τα σώσουμε εκεί σωστά
δουλέυω πάνω σε κάτι τέτοιο!!
γιατί αν κάνουμε αυτό που λες σε επόμενη αναβάθμιση θα χαθούν τα modification και πάλι τα ίδια!!

[alex23]

αυτο που λεει ο haritak ειναι κατι που μπορει να δουλεψει!

αν δεν βρεις άκρη georgeh τοτε να κοιτάξουμε να φτιάξουμε ένα script και σε μελλοντική αναβάθμιση βλέπουμε.

[haritak]

το θέμα είναι ότι θα πρέπει να πειράξουμε όλο το forum σε πολλές σελίδες και στην ουσία πάλι όλα στην βάση δεν θα είναι γραμμένα σωστά
το πιο σωστό είναι να κάνουμε alter του πίνακες και να τα σώσουμε εκεί σωστά
δουλέυω πάνω σε κάτι τέτοιο!!
γιατί αν κάνουμε αυτό που λες σε επόμενη αναβάθμιση θα χαθούν τα modification και πάλι τα ίδια!!

Καλημέρα!
Καλό κουράγιο με τα σκριπτάκια σου.

Δύο σημειώσεις μόνο:
1) Εγώ εννοούσα να βγούν τα δεδομένα και να ξαναμπούν όχι κάτι που να εκτελείται δυναμικά.
Ο κώδικας που έδωσα είναι για να εκτελεστεί offline και να αντικαταστήσει δεδομένα στην βάση, όχι να εκτελείτε δυναμικα!
Δε νομίζω να γίνεται με απλό alter σε όλο τον πίνακα γιατί το πρόβλημα αφορά συγκεκριμένες γραμμές του πίνακα και όχι ολόκληρο τον πίνακα.
Κατα την γνώμη μου πρέπει να εντοπιστούν αυτές οι γραμμές να αλλαχθούν και να αντικατασταθούν.

2) Δυστυχώς απο την θέση που είμαι βλέπω τα δεδομένα όπως μου σερβίρονται και όχι όπως είναι αποθηκευμένα στους πίνακες.
Ειναι πιθανό τα δεδομένα να είναι όντως αποθηκευμένα σε iso8859-7 και όλη η υπόλοιπη σελίδα είναι σε UTF-8 τα θεωρεί και αυτά UTF-8.
Στο αρχικό post θεωρούσα ότι στην βάση είναι UTF-8 όλα και απλά κάποια έιχαν μετατραπεί με λάθος τρόπος σε UTF-8. -εδώ θέλει λίγη σκέψη παραπάνω,
αλλά με μία ματιά στα bytes των ποστς κατευθείαν απο την βάση λύνεται το πρόβλημα-.

Ελπίζω να βοήθησα λίγο...

[georgeh]

είναι μια σκέψη να τρέξουμε alter με select τα συκεγριμένα username!!! θα είδωμεν

[haritak]

είναι μια σκέψη να τρέξουμε alter με select τα συκεγριμένα username!!! θα είδωμεν

Καλή τύχη! Αν βρεις λύση απο την ίδια την βάση είναι προτιμότερη.

Αν πάντως μπορώ να βοηθήσω, στείλτε κάνα pm αρκεί να μήν βιάζεστε... τα παιδιά ξύπνησαν και κάνω babysitting!

[Dimis]

Αυτό θα πει team work....

[Tzivitzonis]

Αυτό θα πει team work....

Team work δε λες τίποτα Δημοσθένη! Απ'ότι έμαθα, του καλιακούδα του έχουν πέσει τα μαλλιά από το editing!